Neural Architecture Searchの探索空間削減を目指した深層学習モデルの部分構造解析

抄録

近年、深層学習アーキテクチャを自動で設計するNeural Architecture Search (NAS)が注目されている。NASではアーキテクチャの部分構造の集合である探索空間から最適なアーキテクチャを決定する。しかしながら、現在提案されているNASの探索空間は計算量の膨大さゆえ限定されているため、高性能なアーキテクチャを見逃す可能性がある。そこで本研究は、タスク特異的な部分構造を有したアーキテクチャは高性能であると考え、NASの効率的な探索空間設計に資するタスク特異的な部分構造を同定する方法を開発した。 本手法はGraph Convolutional Networkを用いて既存のアーキテクチャのグラフ構造をタスクごとに分類する学習を行い、その分類に寄与した特徴を解析することで部分構造ごとにタスクへの特異度を出力する。実際に本手法により取得した部分構造ごとのタスクへの特異度と精度に有意な相関が確認できたことから、本手法により精度に貢献するタスク特異的な部分構造を同定可能であることが示された。本手法は、計算量を削減した上で高性能なアーキテクチャを決定可能なNASの開発に貢献することが期待される。