VirtualHomeを対象とした家庭環境知識に基づく日常生活行動説明文からのアクションスクリプト自動生成

抄録

家庭シミュレータVirtualHome（VH）では，動作とその対象物のセットのリストを記載したアクションスクリプトに基づいて，エージェントをVH上で行動させることができる．行動ラベル，日常生活行動説明文，日常生活行動説明文に対応するアクションスクリプトをクラウドソーシングにより集めたデータセットが存在するが，その構築コストは大きく，VH上で実行できないアクションスクリプトがデータセットに含まれる問題がある．日常生活行動説明文から動作のリストを生成する研究が行われているが，VHには動作を行う際の前提条件が存在するため，既存手法により生成される動作のリストを直接VH上で実行することはできない．本研究では，家庭環境知識，依存構造解析，同義語検索，単語埋め込み，文章穴埋め予測を用いて，日常生活行動説明文からその内容に沿ったアクションスクリプトを生成する手法を提案する．提案手法では，日常生活行動説明文中には明示的に記載されていない暗黙的に行わなければならない動作を，家庭環境知識などの外部知識を用いて推論する．提案手法の評価は，上記データセットの中で，実行可能なアクションスクリプトを含むものを用いて行った．VHには，Scene 1から7の7種類の家庭環境に対応するデータセットが存在し，環境ごとに対応するデータセットが異なる．本研究では，部屋の数と種類が一致するScene 1，Scene 2，Scene 4の三つの環境を評価対象とする．VH の環境ごとに用意されたデータセットの日常生活行動説明文を提案システムに入力し，提案システムが生成したアクションスクリプトと正解データを比較し，各環境と三つの環境全体の適合率，再現率，F1値の平均値をそれぞれ求めた．三つの環境全体の適合率の平均値は0.64，再現率の平均値は0.56，F1値の平均値は0.57であった．