ChatGPTによる第1種ME技術実力検定試験の解答精度解析

抄録

近年、大規模言語モデルの医療分野への応用が進んでいる。中でも、2022年11月にOpen AI社が公開したChatGPTは、幅広い分野の質問に対して、詳細な解答を生成できることから高い注目を集めている。また、ChatGPTは医師や歯科医師、看護師、薬剤師といった、多くの医療系国家資格に合格可能な知識を有するとされている。一方で、ChatGPTの医療工学分野における応用知識や、課題解決能力のベンチマークは、未知数である。本研究では、第26回～第28回の第1種ME技術実力検定試験を対象とし、ChatGPT（GPT－4o）による回答精度を評価した。平均正答率は、基礎知識で68.4±10.5%、応用知識を問う問題では57.9±5.3%、課題解決能力を問う問題では66.7±6.1%となった。また、選択問題では68.4±13.9%、何らかの記述が必要な問題では62.8±7.9%、計算を要する問題では57.8±13.9%、画像を認識し回答する問題で59.7±16.5%であった。論述試験においては、すべての実施回において、所定の文字数でかつ要点を抑えた解答が生成されており、一般的なリテラシーに加え，実務的な知識を有していると考えられた。論述試験を除き、ChatGPTによる得点はおおおよそ170点程度と考えられ、合格基準である得点率6割にはわずかに届かないと考えられる。