家庭内の日常生活動画とイベント中心知識グラフの同時生成

ナレッジグラフ推論チャレンジ【実社会版】の開催に向けて

抄録

社会の高齢化に伴い，家事の支援や事故の予防などが可能なAIシステムの開発が期待されている．しかし，日常生活動画とその内容の意味的関係が対応付けられたデータセットは不足しており，視覚情報と記号情報を融合したAI技術の発展を妨げている．我々はこれまでに，仮想空間を用いて日常生活動画を生成し，その内容をイベント中心知識グラフとして生成するシステム「VirtualHome2KG」を開発してきた．本稿では，機能を拡張したVirtualHome2KGを紹介する．具体的には，(1)30種類以上の実行可能なアクションを追加し，(2)画像内のオブジェクトの2Dバウンディングボックスを生成する機能を追加した．これにより，従来よりも実社会に近い複雑な推論タスクを想定した，動画と知識グラフのペアデータセットを構築した．さらに，これを一般公開して「ナレッジグラフ推論チャレンジ【実社会版】」を開催し，家庭内の危険な状況を検出して説明可能なシステムを募集している．本稿では，様々なアプローチの結集により本技術の社会実装に向けて期待されることを述べる．