主催: 一般社団法人 人工知能学会
会議名: 2023年度人工知能学会全国大会(第37回)
回次: 37
開催地: 熊本城ホール+オンライン
開催日: 2023/06/06 - 2023/06/09
ランダムに初期化された過剰パラメータ化されたネットワークには,重み更新を行わずに高い性能を発揮する疎なサブネットワークが存在することが示されている.しかし,このようなサブネットワークが既存アルゴリズムによってどのように発見されるのかは分析が不十分であり,その性能を改善することが困難になっている. 本稿ではまず,既存アルゴリズムではほとんどの重みが一度も使用されない,つまりランダムに選択された初期サブネットワークの近傍しか探索していないことを実験的に確認した.次に,iterative edge-pop (iEP)を提案した.この手法は,刈り込み率を徐々に増加させ,各反復後に学習率を巻き戻すことでEPを繰り返す.提案手法の有効性を確認するために,ImageNet,CIFAR-10,CIFAR-100を用いた実験を行った.結果として,ImageNetにおいて,通常の重みが2,200万パラメータで73.3%, Edge-Popが約2,000万パラメータで73.\%の正解率となるのに対して,iEPでは約2,000万パラメータで76.0%の性能を達成することを示した.