エントロピー正則化付方策改善のための目的関数の補正

抄録

強化学習は，未知の環境と試行錯誤的に相互作用しながら，意思決定則である方策を最適化することを目的とする．近年，エントロピーもしくは双対エントロピーによって目的関数を正則化する学習則が数多く研究されているが，（双対）エントロピーによる正則化を導入すると，目的関数と最適方策が元となるマルコフ決定過程と異なってしまう．本研究では，エントロピーの正則化を利用した方策オフ型の学習則の一つである Path Consistency Learning (PCL) とその派生である trust-PCLに着目し， これらの学習則を利用して元となるマルコフ決定過程の最適方策を求める手法を提案する.