Disentanglementによる属性の理解を通じた交差状況語意学習

抄録

本稿では、交差状況学習による人間の語意の学習を模倣する計算モデルを提案する。人間は色や形などの属性に関する観測情報に基づいてカテゴリを形成し、単語の意味を学習する。本研究では、画像中の属性を理解し、属性ごとのカテゴリと単語の関係を学習する手法を提案する。この手法は交差状況学習が可能なCSL-PGMと、教師なし学習でDisentanglementによる属性の理解が可能なβ-VAEを統合したものである。実験では、5つの属性を持つ画像と単語列からなるデータセットに対してモデルを学習させた。その結果、99.9%の単語について正しく属性を理解した結果を得た。また、単語列から画像を推論する際の正答率は87.0%であり、既存のマルチモーダル生成モデルを上回った。