RDFスキーマ推論規則を対象とした大規模言語モデルの推論能力の評価

抄録

近年，大規模言語モデルは様々な言語タスクで優れた性能を示しているが，論理推論における課題が依然として指摘されている．特に，大規模言語モデルは事前学習で獲得した知識に依存して推論を行う傾向が示唆されている．また，オントロジーを対象とした大規模言語モデルの推論能力の評価も十分に行われていない．本研究では，RDFスキーマ推論規則に着目し，Linked Open Dataを基に構築した実世界知識データセットと，それを複数の観点から改変した反実仮想知識データセットを構築し，それらに基づく大規模言語モデルにおける推論能力の評価手法を提案する．評価実験では，構築したデータセットから取得した推論に用いる知識とRDFスキーマ推論規則を含むプロンプトを大規模言語モデルに与えて推論結果を取得し，適合率，再現率，F1値を用いて，実世界知識と反実仮想知識を対象とした大規模言語モデルの推論能力を評価した．実世界で希少な知識構造における推論失敗や，リソース名のパターンを利用した推論の傾向が評価実験の結果から確認され，RDFスキーマ推論規則における大規模言語モデルの推論能力の限界を示した．