テキストベースゲームは強化学習や自然言語処理の分野でよく使われるようになっている。このゲームをクリアするには、外部から常識を与えることで行動空間を効率的に探索させることが有効である。しかし、既存手法では外部からの常識は抽象度が高いテキスト情報に限定されていた。本論文では、画像から抽出した常識の活用を提案する。一般的に、画像はテキストと比較して、より広く具体的な情報を持っている。この性質は、ゲームのような行動選択にゲーム内のオブジェクトの状態などの具体的な情報を必要とするタスクで有効である。我々は、画像から抽出する常識のデータベースとしてシーングラフデータセットを利用する。また、常識を必要とするテキストベースゲームTextWorld Commonsenseで提案手法を実験する。提案手法は既存手法と比較して高い性能を示している。
