大規模基盤モデル利用による料理レシピ記述からの食材状態変化を考慮した調理認識計画行動ロボットシステム

抄録

調理タスクにおいては，レシピ記述に従って調理作業を行い食材を状態変化させていき料理を完成させることが目標となる．そのため，ロボットによる調理タスクの実行の実現のためには，自然言語で書かれた料理レシピを基にロボットの調理タスクを計画し，食材の状態変化をロボットが認識できることが望ましい．本研究では，近年盛んに開発が進められている大規模基盤モデルをロボットに応用することで，インターネット上の膨大な言語関連データに含まれる人の知識や常識をロボットが利用し，食材の状態変化を考慮しながらレシピ記述に基づいて調理を実行するロボットシステムを提案する．言語モデルによるレシピの調理関数表現変換と，視覚-言語モデルの時系列利用による言語記述に基づいた食材の状態変化認識を行い，実験により有効性を確認した．