人工知能学会全国大会論文集
第34回 (2020)
セッションID: 4Rin1-69
会議情報

ニューラルネットワーク学習におけるLARSによるバッチサイズ拡張効果と反復回数削減効果の検証
*長沼 大樹井手 達朗横田 理央
著者情報
キーワード: 深層学習, 分散深層学習
会議録・要旨集 フリー

詳細
抄録

深層学習では極めて冗長な数のパラメータを持つ深層ニューラルネットワーク(DNN)を膨大な学習データを用いて学習することで他の機械学習手法を圧倒する高い性能を発揮している。一方で、DNNの学習には膨大な計算時間がかかるため、大規模並列化によって学習時間を短縮するのが喫緊の課題である。高速化を目的とした大きなバッチサイズでの深層学習であるラージバッチ学習では、バッチサイズを大きくすることで学習に必要な反復回数を削減し高速化を達成するが、近年の研究で巨大なバッチサイズの領域では反復回数削減の効果に限界があることが示されている。本研究では、ラージバッチ学習において広く用いられる学習率調整法であるLARSを適用した場合に、フルバッチ規模までバッチサイズを増加させた範囲での実験を行い,バッチサイズと必要となる反復回数の関係を検証した。検証の結果、LARSの必要反復数の削減効果が他の最適化手法に比べて高いことが明らかとなったほか、フルバッチでの学習においても他の最適化手法に比べて汎化性能の劣化を防ぐことを実験的に明らかにした。

著者関連情報
© 2020 一般社団法人 人工知能学会
前の記事 次の記事
feedback
Top