大規模言語モデルを用いたオブジェクトの状態と関係に基づく家庭内タスクプランニング

抄録

家庭内のような物理的な環境を模したシミュレータ内で，エージェントが自然言語の指示に従って複雑なタスクを行う研究が盛んであり，エージェントがタスクを実行するための適切な行動の計画を行うために，大規模言語モデル（LLM: Large Language Model）を活用することが注目されている．本研究では，LLM を用いて，環境内の物体の状態や物体間の関係などを含む情報を環境知識として認識し，環境知識に従ってタスクを実行するための適切な行動計画を生成することに焦点を当てる．これまでの研究では，環境知識を用いずにLLM の常識知識によってタスクを達成するための行動計画を生成できるような実験課題がほとんどであった．本研究では，家庭用シミュレータであるVirtualHome(VH) を用いて，環境知識を認識しなければ達成することが困難な家庭内タスクデータセットを作成した．さらに，LLM を用いて，環境知識に従ってタスクを実行するための適切な行動計画を生成する手法を提案した．評価実験では，VH シミュレータと作成した家庭内タスクデータセットを用いて，タスクの成功率を評価した．