発問型チュータリングシステムにおける解答の自動評価

抄録

発問による主体的・対話的な教授で学習者の深い学習を実現するためには、学習者の解答を分析し、フィードバックを与えるために詳細な評価をする必要がある。学習者の解答のような短文を評価する技術をAutomatic Short Answer Grading(ASAG)と言う．近年のASAGでは大規模な言語モデルにより、高い精度での評価が可能となっている。しかしながら、既存のデータセットは正解か不正解かの単純な評価しか付与されておらず、また既存の手法は模範解答との単語の一致率に依存した評価を行う傾向にあるため、フィードバックのための詳細な評価を行うことができない。そこで本研究では高等学校の授業科目である情報Iに関する発問と解答例を収集し、7段階の評価ラベルを付与したデータセットを構築した。また、情報Iに関する解答例を詳細に評価するため、教科書の知識グラフを用いた評価手法を検討し、既存の手法と比較した。