解説
深層ニューラルネットワークを利用した強化学習の制御への応用
2019 年 26 巻 4 号 p. 135-144
詳細
2019 年 26 巻 4 号 p. 135-144
近年，計算機の計算能力の向上に伴い，生物の神経回路を模したニューラルネットワークを多層で構成した，深層ニューラルネットワークを関数近似器として用いる研究が活発に行われている．この深層ニューラルネットワークを強化学習と組み合わせた手法に深層強化学習がある．強化学習は，外部から与えられる報酬をもとに，試行錯誤を通して方策を学習を行う機械学習の一つの枠組みとなっており，制御対象のモデルがわからないシステムの制御に有用である．一般に，制御対象の状態・制御入力は実数値を取る．そのため，実数値を扱える強化学習法が重要である．本稿では，強化学習の基本事項を説明する．次に，実数値を扱う深層強化学習の代表的な手法である，DDPGとContinuous deep Q-learningを紹介する．最後に，制御入力に遅延がある制御対象へのContinuous deep Q-learningの応用について説明する．
