OpenAIに開発された対話型AIサービス「ChatGPT」の公開以降、その基盤技術である生成AIが脚光を浴びている。 生成AIの課題の一つとして、事実とは異なる内容を出力する現象「幻覚 (Hallucination)」がある。 この検知手法として、SelfCheckGPT という手法が提案されている。この手法では、生成AI が与えられたプロンプトに関する知識を有している場合、同一のプロンプトを複数回与えたとしても出力が類似する可能性が高いという仮説をもとに、出力間の類似度からHallucinationを検知する手法である。 本研究では日本語を対象としたSelfCheckGPTの性能検証を目的として、gpt-3.5-turboを用いて日本語で構成されるクイズ問題の回答データセットを構築し、実験を実施した。 検証の結果、日本語のクイズ問題においては性能が著しく低下することがわかった。要因を分析したところ、gpt-3.5-turboの各出力は文章構造が類似していること、Hallucinationの検知性能が文章ベクトルを得る手法に依存していることが原因である可能性が示唆された。
