人間の評定分布を用いた教師ありクロスモーダル対照学習による感情空間

抄録

本研究では，感情モデリングのデータ駆動アプローチとして，人間が感情表出したセンサデータから，感情を意味する潜在表現を獲得することを目指す．特に人間が相手の音声や顔表情から共通の感情を認識することに着目し，深層表現学習手法により，マルチモダリティの感情表出データを共通の潜在表現（感情空間）に埋め込むことで，人間の感情を表現する空間を獲得する．提案手法では，教師あり対照学習により，モダリティによらず感情が似ているデータ対を近くへ，似ていない対を遠くへ埋め込むように学習する．人間の感情は特定のラベルに分類されず，複雑に混在していると考えられる．そこで，一つのデータに対して複数の評定者の回答を用いて評定分布を考え，これをソフトラベルと扱い，ラベル間類似度を用いて教師あり対照学習の損失関数を拡張する．音声と顔画像を用いた実験で，モダリティが欠損した際の感情認識の頑健性を評価し，提案手法によりモダリティに共通した感情空間が低次元で得られることを確認する．また，感情空間を可視化し，表出者の性別など感情でない情報の分布を観察し，提案手法により人間の感情の意味的関係性を表現することの妥当性を評価する．