重み共有を用いたニューラルアーキテクチャ探索における探索空間設計に関する調査

抄録

Neural Architecture Search（NAS）は，従来経験に基づき設計されてきた深層ニューラルネットワークの構造を探索的に自動設計する自動機械学習技術である．Weight Sharing（WS）を用いたNASは，一度の訓練でニューラルネットワークの構造と重みパラメータを同時に学習するため，時間効率の良いNASアプローチであることが知られている．しかし，WS型のNASでは，探索空間---選択可能なオペレーション候補の組み合わせからなる集合---の設計次第では，最終性能が著しく低いアーキテクチャへと探索が収束してしまう問題が確認されている．適切な探索空間の設計はタスク依存であり，利用者が注意深く探索空間を設計しなければならないことは，WS型のNASの適用の妨げとなる．本研究では，確率緩和に基づくWS型NASに着目し，探索手法の目的関数景観を単純なタスクを用いて理論的に分析するとともに，脆弱性を緩和する工夫について検討する．