人工知能学会全国大会論文集
Online ISSN : 2758-7347
第36回 (2022)
セッションID: 3J4-OS-3b-05
会議情報

視覚言語融合タスクにおけるTransformerの自動構造探索
*菅沼 雅徳
著者情報
会議録・要旨集 フリー

詳細
抄録

Transformerが提案されて以来,画像認識,自然言語処理,それらの融合タスクなど幅広い分野でその優れた性能を示している.一般的に,深層学習モデルのネットワーク構造が性能に与える影響は大きく,Transformerもその例外ではない.しかし,学習コストの高さから,十分にTransformerの構造探索が実施されておらず,その潜在能力を最大限に発揮しているとは言えないのが現状である.そこで本論文では,まず多種多様なTransformerが構築可能な探索空間を設計し,そしてその膨大な探索空間を高速に探索可能な構造探索手法を提案する.本手法を視覚言語融合タスク上で評価し,探索によって得られたTransformerが標準的なTransformerよりも優れた性能を示すことを実験的に明らかにする.また,探索によって得られた構造を解析することで,どのような構成要素がTransformerでは重要なのかを明らかにする.

著者関連情報
© 2022 人工知能学会
前の記事 次の記事
feedback
Top