不要文除去問題の自動解答における転移学習に用いる疑似問題の作成手法

抄録

我々は，「ロボットは東大に入れるか」プロジェクトを通じて，センター本試験および追試験の英語問題の自動解答に取り組んできた．本研究では，不要文除去問題に対して，ニューラルネットワークモデルの転移学習による解答手法を試みた．我々はこの不要文除去問題に対し，これまで様々な手法を試みてきた．その中で，これまで汎用言語表現モデルBERTを適用した手法が最も高い正解率が得られる手法であった．BERTが発表されて以降も，様々な汎用言語表現モデルが提案されている．本研究では，汎用言語表現モデルXLNetおよびRoBERTaを用いる．これらのモデルは，BERTと同じく転移学習することで，様々なタスクに応用することができる．BERTによる転移学習では疑似的に作成した不要文除去問題を学習データとしていた．この疑似的な学習データの作成方法には様々な方法が考えられる．我々は疑似的な不要文除去問題を作成するにあたり，疑似的な不要文の抽出方法とそれらを既存の文章へ挿入する位置についてどのような方法を取れば質の高い疑似問題が作成できるか検討を行なった．