人工知能学会全国大会論文集
Online ISSN : 2758-7347
第38回 (2024)
セッションID: 3Xin2-72
会議情報

常識知識グラフによる知識拡張プロンプトの有効性
*岡田 憩ラファウ ジェプカ荒木 健治
著者情報
キーワード: 常識知識グラフ, LLM
会議録・要旨集 フリー

詳細
抄録

大規模言語モデル(LLM)以前のBERTなどのモデルでは様々なタスクでの性能を改善するために,知識グラフなどの外部知識との組み合わせも行われた.LLMでは入力(プロンプト)を変えることで外部知識を使う必要がなく同程度の性能が出されている.そこで,本研究では,LLMにおける知識グラフによる知識拡張の有効性を調査した.日本語の常識推論タスクJCommonsenseQAにおいて,常識知識グラフConceptNetからの知識を入力へ追加し,5つの言語モデルで基本的にゼロショットで検証を行った.JCommonsenseQAのtrainセットからランダムに100問を検証データとし,ConceptNetの知識を自然文に変換したものから,それぞれの質問に類似するものtop10を抽出した.これら10個の知識を入力プロンプトに追加し,推論を行った.評価はexact matchで行い,正解率を算出した.結果,全てのモデルにおいて知識拡張を行うことで正解率が減少,または同程度となった.これはLLMにおいては常識知識グラフによる知識拡張プロンプトは有効的ではない可能性を示唆している.

著者関連情報
© 2024 人工知能学会
前の記事 次の記事
feedback
Top