強化学習と汎用エージェント

抄録

近年の深層学習の発展と普及を受けて、エージェントと環境の相互作用に基づく強化学習(reinforcement learning)が脚光を浴びている。本講演では、Marcus Hutterによって提案された汎用的なエージェントのモデルであるAIXI(AI ξ, エーアイ，クシー)を紹介する。AIXIモデルは、Ray Solomonoffのアルゴリズム情報理論の考え方に基づき、ユニバーサルな事前分布をエージェントの最適化戦略に取り入れたものである。これによりAIXIは、いかなる環境のもとでも最適な戦略をとることができるエージェントモデルとして定式化される。万能エージェントの理論的な枠組みを提示することで、汎用的な知能とは何かの問題にアプローチするAIXIモデルは、強化学習の深化を考える上でも興味深い。