信号伝播過程におけるスケーリング則に基づく人工深層ニューラルネットワークの系統的な設計

抄録

前回の論文で，人工深層ニューラルネットワークの信号伝播過程が統計力学における吸収状態転移のスケーリング則を用いて見通しよく整理できることを報告した．深層学習の理論的理解に向けて次に問うべきは，吸収状態転移のスケーリング則が人工深層ニューラルネットワークの訓練ダイナミクスにどのように効いてくるかである．この問題は，深層学習のチューニングをより系統的に行い，優れた汎化性能をもつニューラルネットワークをより少ない資源で探索可能にするための重要なステップでもある．本論文では，無限に幅が広く比較的単純なアーキテクチャを取り上げ，信号伝播過程のスケーリング解析といわゆる Neural Tangent Kernel (NTK) の理論・数値解析を組み合わせることで，優れたネットワークを少ない訓練ステップ数で得るための初期化条件や学習率・隠れ層深さの選定とスケーリング則における現象論的パラメータが密接に関係することを示す．