時間的常識を理解する日本語汎用言語モデルの構築へ向けて

抄録

自然言語で表現された出来事を理解するには、時間を理解することが重要である。しかし、それらは記載が省略されることが多々あるため、イベントのさまざまな時間的側面について常識的な知識を持っている必要がある。そこで、時間的常識に関する英語のデータセットMC-TACOを日本語に翻訳したデータセットを用いて、時間関係の常識を識別できる日本語汎用言語モデルの構築を目指す。 我々は、以下のマスク設定や様々なマスク割合で実験を行った。(i)ランダム、(ii)Q&A形式の入力の回答部分、(iii)時間関係の単語、(iv)注意機構（Attention）の値が高い単語、(v)損失に対する顕著性（Saliency）の値が高い単語。実験を通して、日本語でも英語と同じ設定で高い精度が得られることを確認できた。