正確な応答のための質問生成による情報検索精度の向上

抄録

近年では、Large Language Model (LLM)が急速に発展し、対話システムとして活用されている。しかし、LLMの応答文には、誤った情報が含まれるリスクがあり、対話システムの信頼性を妨げる要因となっている。そこで、事実検証を行い、応答文に誤った情報が含まれていないか判定することが重要となる。本論文では、判定対象から検索クエリを生成することで、判定に有用な情報の取得率を上昇させる事実検証システムを提案する。また、判定過程においても、LLMに自身の推論中で不足している情報を推定させれば、より判定に有用な情報を収集できると考えられる。本研究では、一度判定を行った後も、より正確な判定を行うために必要な情報を取得できる検索クエリをLLMに出力させ、判定精度の改善を試みた。実験では、情報検索を追加で行うことで、判定精度が向上することを確認した。