人間同士のコミュニケーションにおいてノンバーバル情報は，時に言語以上に重要な役割を持つ．なぜならば，ノンバーバル情報は人が発する言語の上に補足的な感情情報を与えるからである． 本研究では，感情情報と応答を同時に予測するSRSP (Sentiment-Response Simultaneous Prediction model) を提案する．SRSPは， (1) 発話テキストとノンバーバル情報に含まれる感情情報を把握するために，テキスト，音声，映像を入力とした感情予測の学習と (2) 相手の感情情報を把握しながら適切な応答を行うために，(1) のpre-trainで予測された感情情報を引き継ぎ，発話応答の学習を行う． 提案手法の有効性を示すために，比較実験を実施した．発話に感情情報が付与された英語のデータセットCMU-MOSEIを用い，言語を日本語に翻訳した上で実験を行った．結果として，感情情報を把握しながら発話応答予測を行うことにより，発話応答の精度向上の効果が確認できた．
