対話破綻を生じさせる典型的なエラー類型の識別

抄録

雑談対話の性能を高めるにあたり，現在の雑談対話システムの研究においては次の2点が課題として挙げられる．1点目は，対話におけるシステムのエラーを共同で分析し，知見を共有することが難しい点である．2点目は，システム間の一貫した評価が難しいことである．これを受けて，対話システムの対話ログのみを対象としたエラー分析である対話破綻の類型化が提案され，任意の対話システムの問題点の議論や一貫した性能比較を可能にした．しかし，現時点でエラー分析は人手で行われており，任意の対話システムに対して評価することは難しい．そこで我々は，対話ログから，類型化案に基づく8グループを識別するシステムを提案した．実験では，提案システムと，類型情報を考慮した対話破綻検出を破綻類型識別へ拡張したベースラインとの比較を行った．その結果，エラー頻度が高い3グループについて，全てのF値がベースラインを上回る精度を達成した．