VirtualHomeを対象とした日常生活行動説明文からのアクションスクリプト自動生成

抄録

家庭シミュレータVirtualHome（VH）では，動作とその対象物のセットのリストを記載したアクションスクリプトに基づいて，エージェントをVH上で行動させることができる．行動ラベル，行動説明文，行動説明文に対応するアクションスクリプトをクラウドソーシングにより集めたデータセットが存在するが，その構築コストは大きく，VH上で実行できないアクションスクリプトがデータセットに含まれる問題がある．行動説明文から動作のリストを生成する研究が行われているが，VHには動作を行う際の前提条件が存在するため，既存手法により生成される動作のリストを直接VH上で実行することはできない．本研究では，依存構造解析，同義語検索，単語埋め込み，文章穴埋め予測を用いて，日常生活行動説明文からその内容に沿ったアクションスクリプトを生成する手法を提案する．提案手法では，行動説明文中には明示的に記載されていない暗黙的に行わなければならない動作を，家庭環境知識などの外部知識を用いて推論する．また，上記データセットを用いて提案手法の評価を行う．