モダリティ融合に基づく認識・単一化タスクによる感情の超球表現

抄録

エージェント内で感情を再現するためには，感情を計算機内で数理的に表現するモデルが必要である．本研究では，モダリティに共通した感情の数理的表現（感情空間）の獲得により，人間の感情知覚に基づいた感情認識のモデル化を目指す．本稿では，複数のモダリティを融合するDNNを用いて，多次元超球面で感情空間を表現し，感情認識タスクとモダリティ毎の感情空間の単一化タスクの複合により，モダリティに共通した感情空間の学習をする手法を提案する．音声と顔画像を用いた実験により，感情空間の次元数による各タスクのスコアの両立性について分析し，低次元超球面上での感情空間の表現力について考察する．また，片方のモダリティを欠如させる実験により，利用可能なモダリティのみでの感情認識能力の安定性を検証し，提案手法によりモダリティによらない感情の表現が得られることを確認する．