MultiWOZデータセットの更新差分を用いたアノテーションエラーの自動検出

抄録

近年，タスク指向型対話システムの研究は活発に進められており，そのためのマルチターン対話データセットも複数構築されている. 一方で, 学習データにアノテーションエラーが含まれている場合, タスク指向型対話システムの性能が低下することが知られている．本研究では, 現在までに複数回アップデートされているMultiWOZデータセットに着目し，その更新差分からアノテーションエラーを取得する．それらを学習データとして用いることでアノテーションエラーの自動検出モデルを構築する. 実験では，アノテーションエラーを自動的に除外して学習を行う対話状態追跡モデルを構築し，アノテーションエラー自動検出モデルの有効性を評価する.