マルチエージェント強化学習による障害物回避を伴うUAV編隊の経路計画

抄録

複数ロボットが隊形を維持しながら協調的にタスクを処理するための経路計画問題は，様々なアプローチで研究されている．本研究では，深層強化学習（DRL）を導入し，分散制御を実現する方法を提案する．DRLを用いた既存手法では，編隊を一機のリーダ，残りをフォロワーとして，隊形維持はフォロワーの制御に委ねられている．このとき，リーダの進路や速度はフォロワーの動きに大きな影響を与えるにもかかわらず，これらを考慮していない．したがって，あるフォロワーの動きが障害物などによって制限されれば，隊形維持は困難になり，タスクの処理に悪影響を及ぼす．そこで，本研究では，リーダを含めた各ロボットの制御を学習するマルチエージェントモデルを提案する．提案法では，協調動作の獲得を目的とするマルチエージェント強化学習により，リーダ自身も隊形維持を考慮した行動選択を行い，障害物などの外乱に応じた編隊全体の移動を可能にした．提案法の性能は，実際の地形を模した計算機実験によって検証し，隊形維持と障害物回避を各ロボットの自律的な行動選択によって実現できたことを確認した．