外部知識なし/モデル内部秘匿/低温度固定状況でのデータ拡張を用いたサンプリングによる日本語LLMの幻覚検知

抄録

大規模言語モデル（LLM）が入力に対し不正確な応答をする現象は幻覚（Hallucination）と呼ばれ，LLMの社会実装における重大な問題である．外部知識を利用せずにモデルの入出力インタフェースのみを利用し，サンプリングベースで幻覚検出を行う手法にSelfCheckGPTがある．SelfCheckGPTではサンプリングを行う際にLLMの温度パラメタを上昇させる必要があるが，Web版のChatGPTのようにLLMサービスの中には温度パラメタを設定できないものも存在する．特に正確な応答をするよう設計されたLLMサービスでは，その温度が低温度に固定される可能性があるため，SelfCheckGPTの性能が悪化する可能性がある．本研究では，低温度固定状況下における幻覚検出の性能を改善するため，サンプリング時にプロンプトに対してランダム文字列の追加もしくは逆翻訳によるデータ拡張を施す手法を提案し，日本語LLMを対象に実験した．その結果，低温度固定状況下でSelfCheckGPTより良い性能を発揮することが分かった．