文章の流れの自然さに基づく会話文完成問題の自動解答

抄録

我々は，「ロボットは東大に入れるか」プロジェクトで英語問題の会話文完成問題に取り組んできた．疑似的に作成した問題を用い，XLNetやRoBERTaやALBERTで転移学習を行なった．モデルでは，会話文が自然であるか判別し，空欄に適切な単語を選択肢から選ぶ．評価する際に，会話文のみを入力とするよりも発話者情報を付与することで，すべてのモデルで正解率が5ポイント以上向上することがわかった．この手法で，いくつかのモデルで従来よりも高いパフォーマンスが得られた．特に，ALBERTでは0.75と非常に高い正解率を得ることができた．