対話状態追跡データセットにおけるアノテーションエラー自動修正手法の検討

抄録

タスク指向対話システムにおいて対話状態追跡 (DST) は重要な役割を担うが, その学習データセットに含まれるアノテーションエラーはDSTモデルの性能を低下させる一因となる. 人手によるエラー修正は高コストであるため, 本研究では2つのDSTデータセットの自動修正フレームワークを提案する. 一つは、アノテーションエラー検出モデルを用いてエラーを特定し, そのデータのみを修正する手法であり, もう一つはLLMとDSTモデルを連携してアノテーションエラーを修正する手法である. 事前学習済み言語モデルをファインチューニングして構築したエラー検出モデルを MultiWOZ データセットで評価した結果, 性能は十分ではなかったものの, 埋められたスロット数が多いデータをエラーと誤判定しやすい傾向を発見した.