一般的に、ロボットの制御はあらかじめプログラムされた動作に限られ、環境への適応性や人間にとっての使いやすさが課題となる。本論文では、コード生成のための大規模言語モデルとロボット制御のための世界モデルを組み合わせることで、人間の自然言語文を入力としてロボットの自律的な振る舞いを実現する手法を提案する。具体的には、大規模言語モデルが生成するLanguage Model Program(LMP)がNewtonianVAEで学習した世界モデルの潜在空間を利用することで、世界モデルを利用した高自由度かつ高抽象度の制御を実現する。実験では、提案手法がロボットのエンドエフェクタ座標、関節角、物体位置などの情報を利用せずに、自然言語文で指示される未知のタスクに対して自律制御ができることを示した。この大規模言語モデルと世界モデルの組み合わせは、潜在表現と記号表現を組み合わせたニューロシンボリックAIの文脈で重要な要素である。
