ディープニューラルネットワーク付きステートマシンを用いたエージェント強化学習

抄録

強化学習を用いたエージェント設計が進歩を遂げており、より効率的かつ柔軟に強化学習をコントロールする手法が求められている。そこで、古典的な意思決定モデルであるステートマシンとディープニューラルネットワーク（DNN)強化学習の組み合わせを検討する。ステート毎に一つの学習済みのディープニューラルネットワーク（DNN）を設置し、ステートの遷移によってニューラルネットを切り替え、キャラクターの動きを制御するDNN付きステートは、記号主義的に定義されたステートとコネクショニズムのNNがセットになっており、より柔軟でキャラクターAIを作成できる。本研究は、Unity3Dの環境で4つのステートを持つステートマシンを構築し、ステージ右辺エリアでボールを取り、左辺エリアのゴールまで搬送するキャラクターの動きを強化学習を用いて実装した。本手法のステートごとに学習を分割させたモデルと、一つのDNNで学習させたモデルを比較し、本手法の性能と柔軟性などの評価を行う。