VAEに基づく潜在発話トピックとセマンティクスを活用したマルチモーダルセンチメント予測

抄録

昨今の情報技術分野において、「メタバース」という単語が一大共通テーマとなって界隈を大いに賑わせている。 機械学習分野においてこの「メタバース」という概念と向き合うにあたっては、この世界の複数の要素を基として、事象を分析する能力を持つモデルが求められる。 幸いにして、機械学習のフィールドにおいては、そうした複数元の入力データを組み合わせた学習の手法に対しては、旧来より「マルチモーダル学習」という命名がなされており、様々な手法が提唱されてきた。しかしながら、この複数の入力データをどう組み合わせれば、ただ単純に各入力データへの分析結果を糾合しただけではない、より良い精度の結果が出せるのかという課題は常に突き付けられており、各々研究者の頭を悩ませている。 我々はこの問題に対して、(1)各単語へのセマンティック情報の添加、(2)注意機構を用いた各モダリティ間の関連性の抽出、そして(3)各モダリティ情報を統一した発話全体に対する潜在空間をもとにしたトピック情報の添加、の三要素を用いることで、マルチモーダル感情分析において従来の精度を上回るモデルを構築した。