大規模言語モデルの外国語教育能力評価：教育文法に着目した実験的研究

抄録

本研究では、大規模言語モデル(LLM)の言語教育への応用可能性に着目し、文法項目と実例の適合性を識別する能力を評価する実験を実施した。具体的には、中国語教育文法を対象とし、まず教育文法シラバスに基づいて、文法項目とそれに対応する例文を含むデータベースを構築した。次に、異なる下位分類に属する例文を組み合わせ、高難易度のテストセットを作成した。その後、「文法項目と例文の適合性」に関する二項分類タスクを設定し、複数のLLMの識別能力を検証した。本研究の成果は、LLMの外国語教育能力を評価するベンチマークの構築に寄与するだけでなく、今後のLLMのさらなる最適化にも示唆を与えることが期待される。