大規模言語モデルと場所概念モデルの統合による未観測物体の語彙を含んだ言語指示理解

抄録

家庭環境でロボットが生活支援をするために，場所の学習時に未観測だった物体の語彙を扱うことは重要である．場所の学習時には，ロボットがセンサを通じて観測できない物体は存在すると考えられる．そのような場合に対して，ロボットはこれらの物体の語彙を含む言語指示から，物体探索や片付けを実行できることは望まれる．本研究では，場所の学習時に未観測だった物体の語彙を含む言語指示をロボットが理解するために，大規模言語モデルと場所概念モデルを統合した手法を提案する．ユーザが探索指示した物体が学習時の訓練データセットに含まれない場合でも，これらのモデルの推論を組み合わせることで，物体探索における部屋の訪問数を削減できると期待される．我々はシミュレーション環境において，ロボットが学習時に未観測だった物体を環境で探索する実験を行った．実験結果から，提案手法はベースライン手法よりも，探索時の部屋の訪問数を削減可能なことを明らかにした．