反復サンプリングを活用したLLM推論時の外部情報検索機能の最適化

抄録

LLMは意図しない情報を出力するハルシネーションが課題となっている。改善策として一般に検索拡張生成(RAG)による手法が広く用いられるが、誤った検索が新たなハルシネーションを生む可能性がある。 LLMの出力の妥当性を確認する手法として反復サンプリング手法が提案されており、同じ質問から多様性のある解答候補を取得することで優れた解答の抽出や解答の信頼性の判断が可能になる。 本研究の目的は、LLM推論時に外部情報を利用するRAGに対して、反復サンプリングを用いることで外部情報の利用を最適化し、ハルシネーションのリスクを低減する新しいアプローチを提案することである。二つの手法を提案し、一つ目は、ハルシネーションのリスクを未然に防ぐため、反復サンプリングを用いて外部情報利用の頻度を最適化する手法である。二つ目は、抽出したい情報が取得したドキュメントに記載されていても抽出に失敗するケースに対して、反復サンプリングを用いて抽出の成功率を向上させる手法である。外部情報の検索が必要なタスクにおいて、これらの手法を用いることで外部情報利用時のハルシネーションの発生を抑制し、正答率が向上することを示した。