負の報酬伝搬を考慮したQ学習の改良

抄録

未知の環境に対してエージェントが現在の状態を観測し次にとるべき行動を決定するという問題を扱う機械学習に強化学習というものがある。強化学習におけるQ学習では、エージェントが可能な行動毎にその価値を示すQ値を持たせ、行動毎にそのQ値を更新することで学習を行う。従来のQ学習では正の報酬は伝搬されるが、負の報酬は報酬を直接得た行動のQ値にしか反映されず負の伝搬は行われない。しかし、エージェントにとって不利になる状況では、小さい正の報酬より負の報酬を使った方がより明確に不利な状況を示すことができる。本研究では、学習式を改良して負の報酬を伝搬させることによって学習の効率化とより複雑な環境への適応を目指す。