Neural Architecture Searchにおける構造評価時の重みの初期化の影響

抄録

ニューラルネットワークの性能はネットワーク構造に大きく依存しており，タスクやデータセットに応じて適切な構造を自動で探索するNeural Architecture Searchの研究が活発に行われている．多くの既存研究が構造のみを探索対象とする一方で，より性能の高いモデルを獲得するためには学習率などのハイパーパラメータを構造に応じて適切に選択する必要があることが近年の研究で指摘されている．本研究ではハイパーパラメータの一つである重みの初期化法に着目し，構造の評価において適切な初期化法を選択する重要性について検討する．NAS-Bench-201で定義されている探索空間に含まれる構造を用いた実験では，構造を考慮した初期化を行うことで，学習後の性能が大きく向上する構造が存在することを確認した．