確率分布を用いたマルチモーダル知識グラフの共通空間学習

抄録

知識グラフはオブジェクト間の関係に着目した知識表現であり、質問応答システムや情報検索の分野で広く活用されている。機械学習におけるデータセットの大規模化、マルチモーダル化に伴い、単一の知識グラフにおける情報の欠損や不足を、画像や属性値などを持つ他の知識グラフを用いて補完する研究が重要視されている。異なる知識グラフ間で同一の対象を持つオブジェクトを見つけるタスクを entity alignment と呼び、マルチモーダル知識グラフにおいては Multi-Modal Entity Alignment (MMEA) と呼ばれる手法が提案されている。しかし、MMEAはオブジェクト間の関係、属性値、画像から得られる表現を共通空間上で一つの点に近づけるよう情報を統合するため、各情報の粒度が考慮されていない。本研究では関係、属性値、画像から得られる表現に確率分布を用いることで、各情報の粒度を分布の広がりとして捉える手法を提案した。提案手法は２つのマルチモーダル知識グラフにおける entity alignment タスクで、MMEAを上回る精度を達成した。