新たなZero-shot NN評価指標の提案に向けた検討

抄録

分類性能の良いニューラルネットワークを探索するため，自動的に構造を最適化することを目指した Network Architecture Search (NAS)が近年注目を集めている． NASは膨大な計算量が必要である． このため実際に学習を実行することなく分類性能を推定するZero-shotでの評価方法が提案されている． これまでに提案されているZero-shot 評価指標では出力の活性度，入力に対する出力の微分値に基づき表現力を定義し性能の評価をしている． しかしこれらの評価指標ではパラメータ数が多い場合に過大評価する傾向がある． そこで我々はこの問題を解決する方法を調査する． その結果，ニューラルネットワークの性能が高いほど，重みに対するReLU出力分布の頑健性が高まることを確認した．