マルチモーダル情報に基づくシステム応答の韻律・表情制御信号の生成に関する検討

抄録

機械と人間のより円滑なコミュニケーションを実現するための手法として，人間らしい応答が可能な対話エージェントを導入することが挙げられる．近年，対話エージェントの応答の韻律や表情をニューラルベースの手法で個別に制御する手法が検討されている．これに対して我々は，言語，韻律，表情の複数のモダリティを用いてエージェントの表情と韻律の両方を制御するためのエンコーダー・デコーダーモデルを提案する．実験から，複数のモダリティ，特に表情モダリティを入力として利用した場合に客観評価値が向上することを確認した．また，マルチタスク学習を行うことで全体的な性能がさらに改善する可能性が示唆された．