主催: 一般社団法人 人工知能学会
会議名: 2024年度人工知能学会全国大会(第38回)
回次: 38
開催地: アクトシティ浜松+オンライン
開催日: 2024/05/28 - 2024/05/31
大規模言語モデル(LLM)以前のBERTなどのモデルでは様々なタスクでの性能を改善するために,知識グラフなどの外部知識との組み合わせも行われた.LLMでは入力(プロンプト)を変えることで外部知識を使う必要がなく同程度の性能が出されている.そこで,本研究では,LLMにおける知識グラフによる知識拡張の有効性を調査した.日本語の常識推論タスクJCommonsenseQAにおいて,常識知識グラフConceptNetからの知識を入力へ追加し,5つの言語モデルで基本的にゼロショットで検証を行った.JCommonsenseQAのtrainセットからランダムに100問を検証データとし,ConceptNetの知識を自然文に変換したものから,それぞれの質問に類似するものtop10を抽出した.これら10個の知識を入力プロンプトに追加し,推論を行った.評価はexact matchで行い,正解率を算出した.結果,全てのモデルにおいて知識拡張を行うことで正解率が減少,または同程度となった.これはLLMにおいては常識知識グラフによる知識拡張プロンプトは有効的ではない可能性を示唆している.