抄録
連続時間系での順強化学習では最適制御則を求めるためには非線形の偏微分方程式であるハミルトン・ヤコビ・ベルマン方程式を解く必要があるが，ほとんどの場合解析的に解くことは困難である．離散時間系の定式化の場合も同様で，このことが強化学習を実問題に適用する上での問題の一つとなっている．近年，線形可解マルコフ決定過程と呼ばれる問題のクラスが提案され，目的関数を規定する即時コスト関数の一部をカルバックライブラーダイバージェンスによって表現することで，ハミルトン・ヤコビ・ベルマン方程式を線形化できることが示された．この解説では，線形可解マルコフ決定過程のロボット制御への適用について説明し，この枠組みにおいて，学習済みの制御則の合成理論に基づいた学習の高速化と観測された状態行動系列からコスト関数を推定する逆強化学習問題が実現できることを紹介する．
