対話印象の自動評価と対話印象向上のためのシステム学習

抄録

システムとの対話におけるユーザ満足度を向上させるためには、個々の応答を自然にするだけでなく、一貫性や個性、共感など、対話全体を通じて得られる印象の改善が重要である。対話全体に対する対話印象を向上させる方法として、対話印象を評価する報酬モデルを用いた対話モデルの学習がある。しかし、こうした枠組みで既存のプロンプティングに基づく報酬を用いることは困難である。そこで本研究では、12の指標に基づいて対話全体の印象を評価する報酬モデルを教師あり学習で準備し、その評価を基にシステムの対話印象を向上させるよう対話モデルの学習を行った。自動評価と人手評価の結果、個々の対話印象指標に加えて、応答の自然さも改善することが示された。