農作業ヒューマノイドモデルのVLA学習に向けた仮想空間データ収集システムの開発

抄録

近年、農業分野における深刻な労働力不足と熟練技能の喪失が喫緊の課題となっている。この解決策として汎用的な作業能力を有するヒューマノイドロボットの導入が期待されているが、農地のような非構造化環境において、視覚情報から適切な行動を導き出すVision-Language-Action（VLA）モデルの学習には、膨大な教示データが必要となる。しかし、実機を用いたデータ収集は環境構築のコストや安全性に課題がある。本研究では、Unreal Engine 5 と3D Gaussian Splatting（3DGS）を統合することで、実環境と視覚的に極めて近いフォトリアルな仮想環境を構築し、VR 機器を用いた直感的な遠隔操作によって高品質な教示データを収集するシステムを開発した。本システムは、実機の運動学モデルを忠実に反映したロボットモデルを搭載し、操作者の動作意図を反映したデータセット生成を可能とする。本報では、開発したシステムの詳細な構成とエンジニアリング手法について報告する。