注意機構を持った深層ニューラルネットワークの勾配探索

抄録

ニューラルネットワーク（NN）のアーキテクチャ設計を手動で行うには専門的知識と多大な労力を要する．NNのアーキテクチャ設計を自動で行うニューラルアーキテクチャ探索（NAS）の分野の発達により，画像分類タスクにおいて高い性能を発揮するアーキテクチャを短時間で得られるようになってきている．画像分類タスクでは一般的に畳み込みニューラルネットワーク（CNN）が用いられるが，その主要な演算は畳み込みとプーリングである．従来のNAS手法はこれを考慮し，探索空間に畳み込みとプーリングのみを含めている．一方近年，NNのアーキテクチャに関する研究では，従来のCNNに新たに注意機構を挿入することで無用な特徴量を捨て，パラメータ数の増加量を抑えつつより高い性能を発揮している．そこで本研究では，従来のoperation（畳み込みやプーリング）に加えて注意機構が挿入されたCNNの探索手法を提案する．提案手法は勾配法探索を行うDARTSをベースとし，得られたCNNはCIFAR-10及びCIFAR-100を用いた実験において，DARTSで得られたものよりパラメータ数を抑えつつも性能が向上した．