深層学習の学習経過におけるクラスタ構造の推移の可視化

抄録

深層ニューラルネットは様々なタスクにおいて高い性能を達成しており，その予測のメカニズムを理解するための手法を構築することは重要な研究課題である．近年，データから学習されたニューラルネットをより単純で解釈性の高いモジュール構造に分解するための手法が提案されている．本論文では，深層ニューラルネットの学習経過についての知識を獲得するために，学習におけるモジュール構造の推移を可視化する手法を提案する．提案法では，まず学習の各段階におけるニューラルネットを階層的クラスタリングに基づきモジュール構造に分解し，次に異なる学習段階におけるモジュール同士の関係を共通するユニットの割合に基づいて解析する．実験により，提案法を用いることで学習経過におけるモジュールの分割と統合の様子と，各モジュールが持つ入出力マッピングの意味での役割について知識を獲得できることを示した．