カスタマーサポートにおけるLLMを用いたRAGベース対話システムの評価と事業活用に向けた取り組み

抄録

カスタマーサポート分野では大規模言語モデル（LLM）の発展により、よくある質問集に基づいて回答するRetrieval Augmented Generation （RAG）をベースとした対話システムの開発がされている。しかし、LLMの生成結果を直接ユーザーに提示することはHallucinationをはじめとした課題があるため、事前に十分な動作検証を実施する必要がある。そこで、ユーザーを模したLLMとRAGベースの対話システムを対話させ、その対話データをLLMを用いて評価する方法について紹介する。さらに、対話システムの事業活用に向けて作成したデモとPromptの改善に向けた取り組みについて紹介する。