人工知能学会全国大会論文集
Online ISSN : 2758-7347
第37回 (2023)
セッションID: 2A4-GS-2-04
会議情報

反復 Edge-Pop アルゴリズムによるランダムネットワークの刈り込み
*岩澤 有祐平川 雅人松尾 豊
著者情報
会議録・要旨集 フリー

詳細
抄録

ランダムに初期化された過剰パラメータ化されたネットワークには,重み更新を行わずに高い性能を発揮する疎なサブネットワークが存在することが示されている.しかし,このようなサブネットワークが既存アルゴリズムによってどのように発見されるのかは分析が不十分であり,その性能を改善することが困難になっている. 本稿ではまず,既存アルゴリズムではほとんどの重みが一度も使用されない,つまりランダムに選択された初期サブネットワークの近傍しか探索していないことを実験的に確認した.次に,iterative edge-pop (iEP)を提案した.この手法は,刈り込み率を徐々に増加させ,各反復後に学習率を巻き戻すことでEPを繰り返す.提案手法の有効性を確認するために,ImageNet,CIFAR-10,CIFAR-100を用いた実験を行った.結果として,ImageNetにおいて,通常の重みが2,200万パラメータで73.3%, Edge-Popが約2,000万パラメータで73.\%の正解率となるのに対して,iEPでは約2,000万パラメータで76.0%の性能を達成することを示した.

著者関連情報
© 2023 人工知能学会
前の記事 次の記事
feedback
Top