複数回答間の自己一貫性に基づいたLLM の ハルシネーション検出方法に関する事例的検証

抄録

道路橋の定期点検や災害時の緊急調査における意思決定支援の手段として，大規模言語モデルの適用を念頭に置き，そのハルシネーションを検出する方法に関する検討を行った．本研究では，Sentence-BERT及びNLI を用いた，正解データを事前に準備しない，自己一貫性に基づくアプローチの適用性を検証した．その結果，今回の検討条件を前提とするものの，LLMの自己一貫性を想定することで事前に正解データ等を準備しなくとも，複数の回答間の専門用語の表記ゆれ，数値の違い，論理的な不整合，無関係な内容などを検出できる可能性があることを示した．一方，今回検討したアルゴリズムでは，全て同じ誤りが一貫して生じた場合は検出できないという課題もある．