SGDの陰的正則化効果の陽的なモデリング

抄録

深層学習モデルとデータセットの増大により分散並列学習が必要になっている。データ並列化は各GPUがモデルを冗長に持ち、バッチを分散させる最も容易に実装できる分散学習手法である。しかし、GPU数が増えるとバッチサイズもそれに比例して増大しSGDのもつ陰的正則化効果が失われることで汎化性能が低下する。本研究では、勾配のノルムによる正則化を行うことでこのラージバッチ問題を緩和することを目指す。