モダリティを統合したDNNによる感情の数理的表現

感情空間の次元数が認識・単一化タスク性能にもたらす影響

抄録

ロボット内で感情を再現するためには，感情コンピューティングの各要素において，感情を計算機内で数理的に表現するモデルが必要と考える．単一のモダリティからDNNを学習し，感情を連続値のベクトルで表現する手法では，得られる感情の表現（感情空間）はそのモダリティに依存すると推察され，並びに感情空間の次元数について考察する必要があると考える．本研究では，感情空間を獲得する複数のモダリティを統合したDNN を提案し，感情認識タスクとモダリティ毎の感情空間の単一化タスクの複合により，モダリティに依存しない感情空間の獲得を目指す．音声と顔画像データによる実験より，単一のモダリティから獲得される感情空間に相違があることと，提案手法によりモダリティ非依存な感情の情報が獲得可能であることを，感情空間の多様な次元数において確かめる．また，感情空間の次元数を変化させることにより，感情空間の次元数による各スコアの両立性について考察する．