層深度に着目したCNNの重みの特性に関する調査

抄録

本研究では，畳み込みニューラルネットワークの各層の重みが持つ特性を明らかにすることを目的とし，層の深さとの関係に着目して調査した．異なるデータセットで学習された同一構造のCNNを用い，重みの置換実験と線形結合実験を行った．また，Batch Normalization層の再学習の有無による影響も分析した．実験の結果，浅い層の重みはデータセットへの依存性が強く，その特徴は出力分布の違いとして現れ，適切な正規化によって対処できることが示された．一方，深い層の重みは層間で線形的な類似性が存在し，データセットへの依存性が比較的小さいことが明らかになった．