ユーザシミュレータとの対話におけるシステム発話のエラー類型と自動検出

抄録

対話システムのデバッグの効率化には，多様なユーザとの対話データから問題を自動検出することが求められる．そのためには，システムにどのような問題が生じているのか把握し，発話のエラー類型を整理する必要がある．本研究では，大規模言語モデル（LLM）ベースの対話システムとユーザシミュレータの対話を分析し，発話エラーについてまとめ，自動検出を試みた．まず，旅行に関するインタビューを行うシステムの対話をもとに，発生している問題と対話破綻検出のエラー類型の関係を分析した．次に，これらの問題に対して，LLMを用いた自動検出を試行した．分析の結果，LLMベースの対話システムでは，話題遷移エラーや似た表現の繰り返しなど文脈レベルの問題の割合が高いという結果が得られた．自動検出では，文脈上の問題を検出しやすい一方，用法エラーやプロンプト情報との矛盾を含む発話の検出が難しいという傾向が得られた．