未知の知識に対する事前学習済み言語モデルが持つ推論能力の調査

抄録

事前学習済み言語モデル (Pre-trained Language Models; PLM) は事前学習時に獲得した言語理解能力や知識によって，既知の事象に対して推論を行うことができる一方，未知の事象に対しては PLM の推論能力のみで解を導き出す必要がある．しかし言語モデルの推論能力のみを評価するには，PLM が事前学習時に記憶した知識と獲得した推論能力を完全に切り分けた分析が必要となり，既存のデータセットで測定するのは，事前学習時の記憶が作用してしまうため困難である．本研究では PLM の推論能力の分析に，知識グラフ上の既知の関係から欠損している未知の関係を予測するタスクである知識グラフ補完 (Knowledge Graph Completion; KGC) を対象とする．KGC において埋め込みに基づく従来手法は推論のみから欠損箇所を予測する一方，近年利用されているPLM を用いた手法では事前学習時に記憶したエンティティに関する知識も利用している．そのため KGC は記憶した知識の利用と推論による解決との両側面を有することから，PLM が記憶する知識の影響を測るのに適したタスクである．我々は KGC に対し知識と推論による性能向上を切り分けて測定するための評価方法及びそのためのデータ構築手法を提案する．本研究では PLM が事前学習時にエンティティに関する知識の記憶により推論を行っている箇所を明らかにし，PLM に備わっている未知の事象に対する推論能力も同時に学習していることを示唆する結果が得られた．