Batch Normalizationつき３層ニューラルネットワークの学習ダイナミクスの統計力学的定式化

抄録

Batch Normalizationはニューラルネットワークの学習を高速化，安定化させ，汎化性能を向上させる方法として知られている．しかし，その知名度に比してBatch Normalizationがニューラルネットワークの学習ダイナミクスに与える影響についての理解は依然として不十分である．近年この問題に取り組むいくつかの研究が出てきているが，Batch Normalizationつきニューラルネットワークの学習ダイナミクスを解析的に導出した研究はほとんどない．学習ダイナミクスを導出することはBatch Normalizationが学習にどのような影響を与えているかについて理解する上で重要であるため，我々は統計力学的な手法を用いた先行研究を頼りに，Batch Normalizationつき３層ニューラルネットワークの学習ダイナミクスを解析的に導出した．具体的には，Batch Normalizationありのニューラルネットワークについて，系の大域的な挙動を表すオーダーパラメータの微分方程式を導出した．