強化学習の諸公式の最大エントロピー強化学習への一般化

抄録

近年、強化学習の研究が著しく進展し、複雑な意思決定や制御の問題において幅広く高い性能を示すようになった。とくに、エントロピー正則化項を導入することで一般化された定式化である最大エントロピー強化学習の様々な利点や性質が明らかになってきた。しかし、このエントロピー正則化項の導入のせいで既存の強化学習の公式を一般には最大エントロピー強化学習にそのまま適用できないことがアルゴリズムの新規開発や理論解析において支障となっている。そこで本稿では、まず最大エントロピー強化学習について整理したレビューを与えたのち、既存の強化学習における幾つかの公式を最大エントロピー強化学習へ一般化する。