スキップ接続によるプーリング層の構成および表現力に基づくそれらのモデルの解析

抄録

深層学習で用いられるニューラルネットワークモデルの設計は，いくつかのレイヤー（ベクトル関数）を階層的に積み上げることで行われる．ここで，「どのようにレイヤーを積み上げるか」「どのようなレイヤーを積み上げるか」が重要な研究課題である．一方で，現在の提案モデルは経験則によるものが多く，モデル設計に関する体系的な理論は存在していない． 本研究では，ニューラルネットワークモデルの設計を体系化することを目的として，表現力の観点からプーリング層やスキップ結合などの構造について考察する．結果として，広く用いられているこれらの構造は単純なニューラルネットワークモデルに結合のスキップ接続を導入することで構成できることを数学的に示した．特に，プーリング層は陽に表現力を低下させること，加算と結合のスキップ接続は全結合ニューラルネットにおいて表現力に差異を与えないこと，そして，現在有効とされているSingle Activation構造が，Multi Activation構造と比較して表現力の意味で優位性を持つことが示された．以上，表現力の観点からモデル設計における一つの指針を与えることができる．