テキスト情報と画像情報を組み合わせた論理推論システムの構築

抄録

近年、モダリティの異なるデータ間での推論によって新たな知識を獲得するマルチモーダル推論に関する研究が盛んになっている。画像情報を自然言語の意味表現と接続可能な形式で表すことができれば、自然言語テキスト間の推論と同様の高度な推論を、テキストデータと画像情報の間で行うことができる。本論文では、画像情報とキャプションを一階述語論理 (FOL)のモデルと論理式を用いて表現することで、画像から数量表現や否定を含む複雑な文を推論するシステムを提案する。画像情報とキャプションにより拡張されたFOLモデルを用いることで、意味的に複雑な文に加え、物体の状態を表す関係を含む文も推論できるようになった。