反論・再考プロンプトによるHallucination検出手法の提案

抄録

生成AI利用における課題として，事実と異なる内容を出力する現象:Hallucinationが存在する．Hallucinationを検出する手法として検索拡張生成が研究されているが，生成AIへ与える外部リソースを事前に整備する必要があり，幅広いユースケースへの対応が困難であると考えられる．また，生成AIへ同一プロンプトを複数回入力して得られた回答の揺らぎをもとにHallucinationを検出する手法(SelfCheckGPT)が存在するが，入出力のtoken量が膨大になるという課題がある．本研究ではtoken量を抑えつつ，外部リソースを用いずにHallucinationを検出する手法を提案する．具体的には，LLMの思考と社会的行動が人間と類似しているという既存研究の示唆をもとに，反論し再考を促す行為を通じてHallucination検出を提案する．提案手法の精度検証のために，日本語で構成された一般常識を問うデータセットをもとに実験を行った．その結果，従来手法と比較して入出力のtoken量を抑えながらRecallを高くHallucinationの検出ができることを確認した．