AIエージェントにより報酬を自己改善するダム操作強化学習

抄録

ダムの効率的な運用を実現するために，深層強化学習を用いたゲート開閉操作の提示が検討されている．ダムのゲート開閉操作を行う際には治水および利水のバランスが重要だが，適切な報酬設定には深層強化学習の結果を確認しながら報酬を改善するといった試行錯誤が必要であり，試行錯誤の後に報酬設計の方針や根拠が簡潔に明文化されているとは限らず，他ダムでの報酬設計に繋がる知見を獲得し難い．本研究では，AIエージェントを用いてダム操作強化学習の報酬を自己改善すると共に，報酬改善時の分析内容を自然言語で出力するフレームワークを提案する．本研究で提案するフレームワークを大川ダムおよびダム下流の宮古水位観測所地点の仮想洪水データに適用し，報酬の自己改善過程がレポート化されながらダム操作が改善され得ることを確認した．