モデルベース学習を活用したDDPGのサンプル効率分析

抄録

深層強化学習は学習に多くの試行回数を必要とする。この問題を緩和する方法としてモデルベース強化学習があり、さらにモデルフリーの強化学習を組み合わせることで環境のモデルによる方策への制約を緩和しようという試みがある。本研究ではモデルベース学習を活用してモデルフリーの深層強化学習の手法であるDeep Deterministic Policy Gradientのサンプル効率が改善されるか否かを分析する。