深層学習におけるミニバッチサイズ依存性の改善による要求マシンリソース削減

抄録

深層学習において訓練パフォーマンス向上のために標準的に用いられるバッチ正規化は、大規模データセットでの訓練時には大きなミニバッチサイズと共に採用することが推奨されている。しかしミニバッチサイズの増加は要求マシンリソースの増加に繋がってしまう。したがってバッチ正規化採用時のこうしたミニバッチサイズ依存性を軽減して要求マシンリソースを軽減することによって、深層学習の活用検討障壁の緩和や活用シーンの多様化を促進したい。そこで我々は小さなミニバッチサイズでも大きなミニバッチサイズを採用した場合に近い訓練結果を得るための試みとして、修正されたバッチ正規化と重み標準化を組み合わせる手法を提案する。既存手法と比べて提案手法ではミニバッチサイズ依存性の問題が改善されることを実験によって示す。