RDFスキーマ推論規則を対象とした大規模言語モデルの推論能力の段階的評価

抄録

近年，大規模言語モデル（LLM）は多様な自然言語処理タスクで高性能を示すが，論理推論では事前学習知識への依存という課題が残る．本研究では，RDFスキーマ推論規則に基づくLLMの推論能力評価手法を提案する．Linked Open Dataから構築した実世界知識データと，実世界事実を改変した反実仮想知識データを用い，単一規則および複数規則を組み合わせた推論で，三段階の規則提示方法による規則内容提示の有無で評価を行った．結果，実世界データでは高精度を示し，欠損前提を事前学習知識で補完する挙動も確認された．一方，反実仮想データでは精度が低下し，LLMが語彙や命名規則に依存する傾向が明らかとなった．