多肢選択式問題の不備検出に対するLLMの性能評価

抄録

多肢選択式問題（MCQ）の品質評価において，HALADYNA and DOWNING（1989）は43の作問基準を整理した．これらの基準に対する違反はItem-Writing Flaw（IWF）と呼ばれる．本研究では，MCQに含まれる不備のLLMによる検出能力を評価・分析する．具体的には，先行実験の専門家評価に基づき対象基準を選定し，IWFを意図的に注入したMCQデータセットを作成する．このデータセットを用いて，複数のLLMによる検出能力を分析し，モデルやIWFの性質による傾向の違いについて報告する．