長文コンテキスト質問応答における大規模言語モデルによる誤引用文の訂正手法の提案

抄録

組織内の長文コンテキストな質問応答などへのRAG（Retrieval-Augmented Generation）の利活用が普及する中，RAGにおける大規模言語モデル（LLM）による出力を人間が検証する必要性が高まっている．これに対し，LLMに，応答と共に文の粒度で根拠を引用させることで人間によるLLMの出力の検証を容易にする手法が提案されているが，LLMが引用を誤ることがあり，根拠引用の正誤の確認の手間がかかるという問題がある．本研究では，LLMが出力した誤引用を機械的に補正する処理と，LLMに自己修正させる処理を組み合わせた新たな誤引用訂正手法を提案する．実験により，提案手法が，誤引用を訂正しつつ，既存手法と比べて短いトークン数かつ高品質に根拠を引用可能であることを明らかにした．本研究は，LLMが出力した文の粒度の誤引用テキストを後から訂正する新たなアプローチの有用性を示唆する．