脳計測情報の代用としての発話音声と表情からの感情推定手法

抄録

近年，表出や認識プロセスを経ずに直接被験者の感情を推定する手法として脳計測情報を用いた手法（Decoded Neurofeedback）が注目されているが，日常生活において接触型脳計測装置を常時装着し続けることはユーザにとって負担が大きい．そこで本研究では，脳情報と表情，発話音声を同時に収録したデータを用いて，脳計測情報から推定した感情状態を表情と発話音声を入力とする機械学習器で再現する手法を提案する．機械学習器としてはLong short-term memory（LSTM）を用いる．説明変数となる音響的特徴量として音圧，基本周波数，声らしさ，また表情遷移特徴量として目，鼻，口の顔パーツの座標12点の時系列変化を用いる．目的変数となる感情状態は，Decoded Neurofeedbackによって推定された快，活性度，期待度それぞれの強度3クラス（生起有り，弱い生起，生起無し）である．学習時のLoss値が最小となる学習器によって評価実験を行ったところ，快，活性度，期待度いずれにおいても表情のみを特徴量に用いた場合が最も良い結果（正解率=0.621, 0.657, 0.578）となった．