マルチモーダル深層生成モデルとメトロポリス・ヘイスティング名付けゲームによる感情の記号創発

抄録

本稿では，感情を含めたビデオから抽出される三つのモダリティの分散表現によって感情カテゴリを形成するエージェント間の記号創発を検証する．構成主義的感情理論では，人が経験する感情は身体内外からの刺激を脳が能動的にカテゴリ化する過程を通じて認識される．このような感情の構造化や認知過程は，身体情報の予測符号化の観点から研究が進められている一方で，人の身体感覚に基づいて構造化，認知される感情が，他者との間でいかに相互作用し共有されるか，つまり感情の記号創発に関する研究は少なかった． 本研究では，自己身体に基づくマルチモーダル情報からカテゴリ形成する二者間の相互作用をメトロポリス・ヘイスティング名付けゲーム（MHNG）によって表現することで，感情の記号創発を検証する．視覚，聴覚，内受容感覚を知覚する二者エージェントを用いた実験において，MHNGによる相互作用の有無により形成される感情カテゴリ構造の違いを検証した．その結果，各エージェントが自身の身体情報から感情概念を形成する様子と，MHNGによる記号的コミュニケーションを通じてエージェント間で感情カテゴリに関するサインが共有される様子が確認された．