エイリアス状態のあるPOMDPに対する予測的クラシファイアシステムの改良

抄録

クラシファイアシステムの1種である，ACSM（ACS2 with Memory）（Hayashida et al., 2014）は，予測的クラシファイアシステムACS（Anticipatory Classifier System）（Stolzmann, 1997, 1998）およびそれを改良したACS2（Butz and Stolzmann, 2002）に基づいて設計されており，部分観測マルコフ決定過程（POMDP：Partially Observable Markov Decision Process）のエイリアス状態における最適方策を獲得するために，内部メモリが導入されている．本論文では，複雑なACSMのアルゴリズムの学習過程の一部を最適化することで，無駄な計算時間の削減あるいは学習パフォーマンスの向上を目指す．エイリアス状態を含むPOMDPsのベンチマークとして多くの論文で採用される迷路問題を用いて数値実験を行い，提案手法がACM2やACSMと比較して効率的に解探索を行うことができることを示す．