主催: 一般社団法人 人工知能学会
会議名: 2024年度人工知能学会全国大会(第38回)
回次: 38
開催地: アクトシティ浜松+オンライン
開催日: 2024/05/28 - 2024/05/31
大規模言語モデルは近年急速に注目を集めている.大規模言語モデルを用いた教育用の設問生成のためには,一般の教員や利用者にも指定しやすい難度尺度が求められる.内容を考慮した難度尺度は,従来,特に自然言語処理分野では,専門家に見せ内容を考慮したアノテーションを行っていた.しかし,こうした尺度はアノテーション基準ごとに異なるため,当該のアノテーションに詳しくない一般の教員や利用者には解釈しにくいものになってきているうえ,大規模言語モデルにも理解されにくい. 本研究ではより教員にも大規模言語モデルにも解釈しやすい難度尺度として,ある受験者集団にある項目を受験させたときの正答率分布を提示し,この分布を用いて難度尺度を指示する手法を提案する.実験を通じ,提案手法で難度尺度が制御できていることを定性的に確認したほか,従来制御が難しかった設問の識別力も,制御できていると思われる結果を定性的に得た.