画像を通じた同義文の潜在空間における対応関係の学習

抄録

本研究では，潜在空間における各モダリティの変数間の関係を明らかにすることで，マルチモーダル情報が単一モーダル情報の理解を向上させることができるかどうかを検討することを目的としている．ここでは，特に画像と自然言語という2つのモダリティに着目し，同義文への共通画像が潜在空間を介したそれら2つの文間の変換に有用かどうかを検討した．実験の結果，文の内容を反映した画像を用いて入力文を再構成する場合，画像を用いない場合に比べて精度と効率が高いことを確認した．