人工深層ニューラルネットワークが示す吸収状態転移

抄録

深層学習のより広範な社会実装に向けて，深層学習をベースとした技術をひとびとがより安心して利用できる状況を整え，より優れた環境性能を発揮する学習手法の追求を目指す上で，現存する深層学習アーキテクチャに通底する原理の探求は避けがたいステップである．その一環として，本論文では，適切に初期化された全結合ニューラルネットワークおよび畳み込みニューラルネットワークにおける信号伝搬過程が，「吸収状態転移」と呼ばれる，平衡から遠く離れた系が示しうる自然現象のダイナミクスと強力なアナロジーを持つことを示す．これらの人工ニューラルネットワークが，吸収状態転移を記述する理論的枠組みにおいてどのように位置づけられるか，このアナロジーがいわゆる「平均場理論」的な理解を超えてどのような理論的・実際的示唆を与えるかを，信号伝搬過程の数値シミュレーションによって得られる定量的な結果とともに論じる．