最大エントロピー逆強化学習の性能の理論評価

抄録

近年、強化学習の研究が著しく進展し、複雑な意思決定や制御の問題において幅広く高い性能を示すようになった。しかし、適切な報酬関数を指定するのが困難でしばしば意図しない振る舞いが生じてしまい、人手による緻密な報酬関数設計が要求されるのが問題となっている。逆強化学習は熟練者のデモンストレーションから報酬関数を推定することでこの問題を解決するが、逆強化学習の主流の最大エントロピー逆強化学習において推測された報酬関数の性能を理論的に保証する方法が無く、学習結果をどれだけ信頼できるか分からないのが問題である。そこで本研究では、最大エントロピー逆強化学習の性能について理論的な保証を与えるため、その性能について理論的に評価し議論する。