Neural Architecture SearchにおけるDARTSのモデルサイズ制約付き最適化

抄録

機械学習の一手法である深層学習は非常に高い性能を示すことから、自然言語処理や画像認識などの様々な分野で応用されている。AutoMLと呼ばれる機械学習を自動的にするための研究が盛んに行われており、中でもデータや目的に合わせてニューラルネットワークのモデルを自動的に最適化する手法であるNeural Architecture Search（NAS）は非常に重要な役割を担う。NASは微分を用いて探索を行うDARTSを用いることで高精度のモデルを見つけることができる。一般的にDARTSは精度のみを最適化するため、認識精度が向上するが、モデルに必要なメモリ容量も増加する。しかし、携帯端末や組み込み系で深層学習を行う場合、搭載できるメモリ容量に制限がある。そこで、本報告ではDARTSに制約条件を付け加えることで、精度だけでなくモデルサイズも考慮したネットワークモデルを探索する手法を提案する。その結果、提案手法により制約条件内で高い精度を出すネットワークモデルを探索することが可能になった。