進化的計算と方策勾配法による学習を用いた3次元制御タスクにおけるマルチタスク深層強化学習

抄録

深層強化学習においては，探索が不十分な場合や，報酬がスパースな場合に学習が収束が困難である．加えて，特定のタスクでは探索の回数自体が限られている場合がある．従って，上記の課題を解決しつつ解きたいタスクとは別のソースタスクにおいて事前に学習を行い，解きたい様々なターゲットタスクでの学習を効率化することが効果的であると考えられる．本研究では，進化的計算と方策勾配法を組み合わせた事前学習を行うことで，ターゲットタスクで効率的な学習が可能なモデルを得る手法を提案する．本手法では，複数のニューラルネットワークによる多様な探索を行い，進化的計算と方策勾配法による学習を行うことで汎用的なモデルを得ることを目指す．3次元制御タスクにおける実験では，複数のソースタスクにおいて提案手法による事前学習を行うことで得たモデルが，ターゲットタスクとなる複数のタスクで高いパフォーマンスを発揮できることを示した．