応用
残差スキップ接続をもつ深層ニューラルネットの表現力に基づく数理解析と設計
2020 年 30 巻 1 号 p. 45-70
詳細
2020 年 30 巻 1 号 p. 45-70
概要. 深層学習の研究課題の一つにモデルの設計があり，優れたモデルの提案が活発に行われている一方で，体系的理論は未だない．本論文では，スキップ接続と呼ばれる構造を体系的に議論することを目的に，表現力の観点からスキップ接続を数理的に比較する．結果として，スキップ接続が加算と結合の場合に，アフィン関数の可逆性のみに起因して表現力が変化することを理論的に確認する．
