主催: Webインテリジェンスとインタラクション研究会
会議名: WI2研究会
回次: 21
開催地: 11月2日:オンライン、11月4日~5日:アスティとくしま
開催日: 2025/11/02 - 2025/11/05
p. 46-53
要約やQAタスクなどにおいて,大規模言語モデル(LLM)は外部知識に基づいた回答が求められる場面が多い.しかし,LLMが事前学習で獲得した内部知識と外部知識が矛盾する場合,内部知識に基づくトークンの出力確率が優勢となり,外部知識に沿わない出力が生じやすい.この問題の解決には,文脈に応じて外部知識を優先できるよう,トークンの出力確率を動的に調整する手法が有効である.既存手法では,LLMへの入力文における外部知識の有無によるトークンの出力確率分布の差を用いて,外部知識をLLMに入力した際のトークン出力確率を調整することで,単にLLMによる生成文と比べて外部知識により基づいた生成を可能とした.しかし,既存手法は内部知識と外部知識の間に強い矛盾が生じると,外部知識を入力した際の確率分布と内部知識に基づく確率分布との差が小さくなることで,外部知識を用いた生成の調整が不十分となる課題がある.本研究では,外部知識とLLMのトークン埋め込みに基づく類似度行列をカーネルとして確率分布を平滑化し,外部知識に意味的に近いトークンへの確率拡散を考慮する調整により,外部知識を優先した出力生成を実現する.