交通信号は車両交通円滑化の基本手法であるが，自動車技術の進歩によって新たな手法提案の必要性が高まっている．深層強化学習は，近年交通信号の最適化手法として注目されており，さまざまな手法が提案されてきた． 多くの従来手法では，信号機のみを行動主体とし交通流は方策に関わらず定常であることを仮定している．しかし，方策変化によって渋滞状況が変化する環境では，車両側も混雑の少ない道路へ経路変更し，学習時の予測を超えた交通流変化が生じることが考えられる．特に，コネクテッドカーに関する技術発展により，広範囲の交通状況をもとに最適な経路設定が可能になっており，信号プログラムの変化が広範囲の交通流に影響を与えると予想される．したがって，信号機の最適化だけでなく，信号プログラムの変化を受けた交通流の変化も考慮した信号制御手法が必要である． しかし，各車両の経路最適化を考慮すると，エージェント数が膨大になり計算困難になる．そこで本研究では，車両エージェントを平均場近似した上で，車両と信号機が双方向で学習しあう環境において，段階的に交通流を最適化する手法を提案する．
