強い宝くじ仮説におけるHyperNetworksを用いた入力データごとに異なるサブネットワークの発見

抄録

Strong Lottery Ticket Hypothesis（SLTH）とは「ランダムに初期化したネットワークの中には，学習したときと同等の性能を持つサブネットワークが存在する」という仮説であり，現在では一定の条件下でこの仮説は満たされることが証明されている．この仮説に基づく学習手法としてedge-popupアルゴリズムがある．これによりパラメータを更新せずに性能の良いサブネットワークを発見することができるが，サブネットワークのサイズを小さくすると急激に性能が低下するという問題がある．この問題は使用するパラメータが少なくなるとモデル容量が小さくなることが原因であると考えられる．そこで本研究ではこの問題を解決することを目的として，HyperNetworksを用いてサブネットワークをデータ毎に変えることで小さいサブネットワークでもタスクを解くことを可能にし，性能低下を抑えることができないか実験を行った．その結果，提案手法では使用するパラメータが50%の際にedge-popupアルゴリズムを超える訓練性能を示したが過学習が発生し，汎化性能が低下した．