主催: 一般社団法人 人工知能学会
会議名: 2022年度人工知能学会全国大会(第36回)
回次: 36
開催地: 京都国際会館+オンライン
開催日: 2022/06/14 - 2022/06/17
画像認識では,Vision Transformer(ViT)モデルは,ImageNetの画像分類において最高精度を更新したが,そのモデルが非常に大きく,通常の計算機では推論すらできない.このような巨大なモデルを縮小するために,本研究ではChenらより提案されたAutoFormerに注目した.AutoFormerでは,スーパーネット学習と進化探索により,パラメータ数の少ないViTモデルで高い性能が得られることが知られている.一方で,ViTモデルは,大規模なデータセットでの事前学習により,分類精度が向上するが,AutoFormerの既存研究では,スーパーネット学習はスクラッチから行っている.本研究では,事前学習済みモデルを使用し,ファインチューニング時にAutoFormerのスーパーネット学習を行い,モデル探索を実行する手法を提案した.また,本研究では,AutoFormerのファインチューニング時のモデル縮小効果が検証され,同程度のパラメータ数のモデルの比較において,スクラッチから学習したものより分類精度が向上したことが確認された.