時間的常識理解へ向けた言語モデル構築への取り組み

抄録

文章中に表現される時間に関するイベントに対して，常識的な時間関係を捉えることができるようにすることは，自然言語理解においてとても重要な課題である．一方で，近年，幅広い自然言語処理（NLP）タスクで大きな成果を上げているBERTなどの事前学習済み言語モデルは，時間推論においてはまだ性能が低いと言われている．そこで，本研究では，時間的常識推論に対する言語モデルの開発に焦点を当て，複数のコーパスを用いたマルチステップのファインチューニングや，ファインチューニングの前に，時間的常識を問う対象のデータセットを用いて別のタスク（Masked Language Modeling）に基づく実験を行なった．実験の結果，時間的常識推論において，標準的なファインチューニングよりも大幅に精度が向上することが確認できた．