視覚的情報と予測指向プロンプトを用いたLLMに基づくEmbodied世界モデル

抄録

近年，機械学習，特に視覚と言語理解が進歩するにつれて，Embodied AI の研究も発展してきた．LLM ベースのEmbodied AIとしてはVOYAGER が知られており，Minecraftの世界で自律的な探索を行うことを可能としたが，視覚的データの未活用や世界モデルとしての機能の不明確性といった課題がある．そこで本研究では，Embodied AIのパフォーマンス向上を目的とし，視覚的データの活用可能性とLLMの世界モデルとしての機能を調査した．実験の結果，LLMは視覚データから必要な情報を抽出することができ，その情報を活用することで世界モデルとしての性能を向上させることができることが明らかとなった． また，プロンプトの工夫によってLLMの世界モデルとしての機能を引き出すことができる可能性が示唆された．