ノンバーバルな話者感情表出を考慮した統計的対話システム

抄録

我々はこれまで，口調や表情から推定した感情と発話文字列を入力とするルールベース型対話システムを構築してきた．しかしルールベース型の場合，各対話ルールに対して話者感情の異なるルールを追加する必要があるため，準備すべきルールの数が膨大になってしまう．そこで本研究では，統計的対話システムによって話者感情を考慮した返答を生成する手法を提案する．まず，マルチモーダル感情推定システムによって推定した話者感情をemojiに変換して入力発話文字列に結合したものを統計的対話システムに入力する．そして，Twitterから収集したemoji付きの応答ペア1,160,702件を学習させた統計的対話システムを使って，emoji付き返答発話文字列を取得する．その後，emojiが表すエージェント感情を考慮して返答発話文字列を音声合成する．提案手法とemoji無しの従来手法の返答発話の妥当性について評価実験を行ったところ，提案手法の出力がより話者の感情を考慮していることが確認された．