マルチタスク学習を用いた時間を認識する汎用言語モデルの構築

抄録

自然言語の文章を理解する上で、イベントが持っている時間情報の正しい理解は重要である。しかし、イベントの時間情報を意味する直接的な表現は文章内では省略されやすく、時間の理解のためには、自然言語で表現されるイベントのさまざまな時間的側面について常識を持っている必要がある。そこで、我々は日本語での時間的常識を理解する汎用言語モデルの構築を目的とする。本研究では、時間知識に関するマルチタスク学習を行った。タスクは、従来の複数のデータセットの時制、時間幅、時間順序、事実性における分類タスクに加えて、時間的常識に関する英語のデータセットMC-TACOを日本語に翻訳したデータセットを用いた。また、テキストエンコーダは日本語の言語モデルだけでなく、多言語モデルも採用した。実験の結果、補助タスクの組み合わせによって、精度の向上を確認した。