構造の複雑さを考慮したNeural Architecture Searchにおける複数構造探索の効率化

抄録

深層ニューラルネットワークの構造を探索するNeural Architecture Search (NAS)において，予測性能だけでなく演算量やパラメータ数といった構造の複雑さに関する指標を考慮した手法が開発されている．本研究は，予測性能とパラメータ数に関する2つの指標の加重和で定められる目的関数を最適化するNAS手法の高速化を目的とする．提案手法では，重み共有という技術を用いるOne-Shot NASに基づき，重みの学習と構造探索を分離し，計算コストの大きな重みの学習を1度だけ実行する．その後，異なる複雑さの構造を探索する複数の分布を考え，それらの混合分布からのサンプルを重点サンプリングに基づき活用することで複数の探索分布を更新していく．これによって，一度の探索で複雑さの異なる複数の構造を得ることができ，構造探索のコストも低減する．提案手法を畳み込みニューラルネットワークの構造探索に適用し，比較手法よりも少ない計算コストで複雑さの異なる複数の構造が獲得可能であることを示す．