診療放射線技師国家試験における大規模言語モデルの正答能力に関する評価

抄録

【目的】本研究の目的は，診療放射線技師国家試験の問題に対し，複数の大規模言語モデル（LLM）がどの程度の正答能力を有するかを評価し，特性を明らかにすることである．【方法】12年分の国家試験問題（不適切問題等を除く）を使用し，5種類のLLM（ChatGPT-3.5, Gemini 2.5 Flash, Gemini 2.5 Pro, Copilot, Claude Sonnet 4）に回答させた．全問題と問題形式ごとに分類して各LLMで正答率を算出した．【結果】総正答率および多くの科目別の正答率でGemini 2.5 Proが最も高い正答率を示した．問題形式ごとでもGemini 2.5 Proは高い正答率が高い傾向を示したが，他のLLMの正答率は問題形式で異なる傾向を示した．【結語】LLMは診療放射線技師国家試験において一定の正答能力を有することが示されたが，特に図を含む問題の解釈能力には課題が残ることも明らかになった．