賭け方略の学習過程の強化学習モデリング

抄録

勝ちよりも負けが見込まれるギャンブルにおいて多額の賭けを行うことを無謀な賭けと呼ぶ。事前に多くの勝ちを経験することで無謀な賭けが促進されることが分かっているが，事前の勝敗経験と賭けの無謀さを結びつけるメカニズムは明らかにされていない。
本研究では，この現象を経験に基づく賭け方略の学習過程と捉え，強化学習モデリングの手法を用いてメカニズムの説明と行動予測のための数理モデルを作成した。
まず，呈示されたギャンブルの勝率 (p) と所持チップ (c) に対してベット額 (b) を返す方策モデルπ(p, c | Θ)を確率割引関数を用いて表現した。次に，試行終了時における期待複利効果を最大化するようにリスク回避パラメータ (Θ) を最適化すると仮定し，学習過程を方策勾配法により定式化した。
本発表では，Acey-Deucey Taskへの適用を想定したシミュレーション結果を報告し，本モデルによる無謀な賭けの説明と予測の可能性について考察する。