知能と情報
Online ISSN : 1881-7203
Print ISSN : 1347-7986
ISSN-L : 1347-7986
原著論文
プロスペクト理論を応用したベータ分布伝搬型強化学習による効率的探索と活用
野津 亮生方 誠希本多 克宏
著者情報
ジャーナル オープンアクセス

2017 年 29 巻 1 号 p. 507-516

詳細
抄録

本稿では,強化学習における行動政策と価値評価をベイズ推定の観点から再考し,プロスペクト理論を用いた新たなアルゴリズムを考案する.良い行動がベイズ推定に基づいた確率分布基準によって選択されることを実現し,これにより従来法よりも探索効率という点で優れた学習となる.この分布関数はベータ分布で表現され,行動選択はその平均値と分散を評価することにより行われる.ベータ分布の2つのパラメータは正の報酬と負の報酬それぞれについての,次状態の値と現状態の値とそのときの報酬の重み付き総和であり,Q学習におけるQ値のように更新される.これらは状態遷移に対応させるためにプロスペクト理論に基づき更新され,これにより強化学習が可能となる.初期確率分布は一様分布とした.提案法の長所である,探索の広さを離散空間経路問題で明らかにし,連続空間経路探索問題でより高度な問題にも適用可能であることを示した.

著者関連情報
© 2017 日本知能情報ファジィ学会
前の記事 次の記事
feedback
Top