人工知能学会全国大会論文集
Online ISSN : 2758-7347
第36回 (2022)
セッションID: 3J4-OS-3b-03
会議情報

ViTのファインチューニング時におけるNASのモデル縮小効果
*張 新宇高島 空良横田 理央
著者情報
会議録・要旨集 フリー

詳細
抄録

画像認識では,Vision Transformer(ViT)モデルは,ImageNetの画像分類において最高精度を更新したが,そのモデルが非常に大きく,通常の計算機では推論すらできない.このような巨大なモデルを縮小するために,本研究ではChenらより提案されたAutoFormerに注目した.AutoFormerでは,スーパーネット学習と進化探索により,パラメータ数の少ないViTモデルで高い性能が得られることが知られている.一方で,ViTモデルは,大規模なデータセットでの事前学習により,分類精度が向上するが,AutoFormerの既存研究では,スーパーネット学習はスクラッチから行っている.本研究では,事前学習済みモデルを使用し,ファインチューニング時にAutoFormerのスーパーネット学習を行い,モデル探索を実行する手法を提案した.また,本研究では,AutoFormerのファインチューニング時のモデル縮小効果が検証され,同程度のパラメータ数のモデルの比較において,スクラッチから学習したものより分類精度が向上したことが確認された.

著者関連情報
© 2022 人工知能学会
前の記事 次の記事
feedback
Top