グラフと近傍グラフの確率的同時埋め込みを用いたマルチモーダル関連性データの可視化

抄録

近年, FlickrやInstagramのような複数種類(例えば, テキストと画像)から構成されるマルチモーダル関連性データの分析が重要な課題となっている. また, 可視化によってデータ分析を行う様々な手法が提案されている. t-Stochastic Neighbor Embedding(t-SNE)では, データベクトルからベクトル間類似度により計算される近傍グラフが保存されるような低次元ベクトルを計算し, 可視化を行う. しかし, １ドメインデータを扱う既存のt-SNEではマルチモーダル関連性データを処理できない. 本研究では, 所与のドメイン間グラフに加え, 特定のドメイン内でデータベクトルが与えられたマルチモーダル関連性データについて, 所与の関連性をよく反映する低次元ベクトルを得ること, 特に得られた2次元ベクトルのプロットによる可視化を目的とする. 提案手法では, データベクトルから計算したドメイン内近傍グラフと, 所与のドメイン間グラフを組み合わせたマルチモーダル関連性データのグラフを利用した, 複数ドメインの確率的同時埋め込みを行う. 最後に, 本手法を用いたFlickr画像データの可視化と分析から有効性を示す.