CNNモデルにおける最適化アルゴリズムの学習率の違いによるロバスト性能比較

抄録

SGDとAdamは、DNNモデルを訓練する際に用いられる最適化アルゴリズムである。多くの応用事例ではSGDよりもAdamを用いる傾向にあるが、ロバスト性能の研究は十分にされていない。特に学習率の違いによって、汎化性能が同じでもロバスト性能が異なる可能性がある。本論文では, モデル内部の活性ニューロンを用いた指標を用いて, 各最適化アルゴリズムにおけるロバスト性能についての調査を行う。4つの学習率を元にSGDとAdamを用いたモデルを生成し、ノイズを付加したテストデータ入力し、3つの指標を用いて比較を行う。実験の結果、提案した手法において、SGD はAdamに比べ、ロバスト性能が低い結果が得られた。また、活性ニューロン率が低いモデルは, ロバスト性能が低くなる見込みが得られた。この結果は, ロバスト性能のベンチマークの確立や今後開発される最適化アルゴリズムの手助けになる見込みがある。