地図とマルチモーダル場所概念の同時学習のための能動探索手法と基盤モデル活用

抄録

ロボットが人間の言語に関連したタスクを行うためには，場所に関する意味情報を対応づけた地図(Semantic Map)をロボットが持つ必要がある．そのような地図の学習には人の介在を必要とする場合が多い．本研究では，人の介在を必要としないロボットによる能動的なsemantic mappingを実現し，semantic mappingにおけるユーザの負担を軽減する．本稿では，ロボットが能動的な場所概念の学習と地図生成を同時に行う手法を提案する．場所概念の学習は，教師なしのオンライン学習によるマルチモーダルカテゴリゼーションにより実現される．このとき，画像キャプショニングの基盤モデルであるCLIPにより生成されたキャプションを実世界と言語の対応付けに用いる．どのような空間的探索手法が効率的なsemantic mappingに繋がるかを評価するために，シミュレーション環境において移動先の決定方法を変更した比較手法を用いた実験を行った．また，実世界環境において学習結果の人間の言語に関連したタスクに対する有用性についての評価を行った．