世界モデルに基づいた模倣学習によるヒューマノイドロボットの「人間らしい」制御の実現

抄録

近年，人間らしい歩行制御を実現する方法として模倣学習，その中でも特にGenerative Adversarial Imitation Learning(GAIL)と呼ばれる手法が活用されてきた．しかし，その過程で用いられるモデルフリー強化学習はサンプル効率が悪く，複雑な環境に対するロバスト性が低い問題がある．人間は複雑な環境であっても適応した歩行を行えるため，ロボットにも同じ程度のロバスト性を与えることは，人間らしい歩行制御の実現において重要である．そこで，本研究では人間らしくかつロバストな歩行制御を実現とすることを目的とし，その達成のため環境をモデル化しサンプル効率やロバスト性が高いことで知られる世界モデルと模倣学習を統合する．本研究の実験では，Isaac Gymを用いてGPU上で高速なシミュレーションを行った．結果として，統合したアルゴリズムで人間らしい歩行を学習しようとしたところ，「体全身を丸めてジャンプする」や「足全体を伸ばして棒立ちする」といった予想外の動作を獲得した．これらの結果について報告し，原因の考察を行う．