Deep Neuroevolution によるロボティックスワームの二点間往復タスクにおける群れ行動の生成

抄録

深層ニューラルネットワーク(Deep Neural Network, DNN)と強化学習を組み合わせた深層強化学習(Deep Reinforcement Learning, DRL)が様々な問題において 良好な性能を記録している． DNNは結合荷重値の勾配を用いた最急降下法により学習する． そのため，評価関数のランドスケープ形状にその性能が大きく依存すると考えられる． これに対し，DNNを進化計算で学習させるDeep Neuroevolution(DNE)が試みられつつある． 本研究では，DNEをロボティックスワームに適用して合目的的な群れ行動の生成を狙う． 一般に，ロボティックスワームの群れ行動生成問題では，合目的的な群れ行動を生成するための報酬設計は簡単ではない． DNEは個体群ベースの勾配フリーな方法によってDNNの学習を行うため，報酬設計に対し頑健な学習が期待される． ベンチマークとして二点間往復問題と取り上げて計算機実験を行った． その結果，DNEとDRLを比較すると異なる報酬設定においてDNEの方が明らかに頑健な制御器獲得をしていることがわかった．