人とロボット間の対話の主観的な質の評価値学習に向けた対話行動データセットのカバー率の評価尺度

抄録

対話の質の評価基準を策定することは，対話システムや自律ロボットの機能向上のための重要な課題である．人の主観評価値を対話行動データに基づいて近似することで，客観的な評価基準をデータドリブンに策定する方法が提案されている．しかし，適切な評価基準を策定するためには様々な対話形式で収集したデータセットを統合し，網羅的な対話行動データを収集することが求められる．そのためには，データセットのカバー率を評価する尺度が必要となる．本発表の目的は，対話行動データセットを用いて策定した評価基準が対話の質の理想値となる人間による主観評価結果をどの程度近似できるのかに基づいてデータセットのカバー率を定量化する方法を提案し，その有効性を明らかにすることである．提案手法の有効性を評価するため，異なる対話形式で収集した3種類の対話行動データセットを用いて，提案手法とKullback-Leibler（KL）情報量とのデータカバー率の評価結果について比較を行った．実験結果から，KL情報量では対話行動データセットのカバー率を適切に評価できない場合においても，提案手法を用いることで適切に評価できることが明らかとなった．