完全分散型学習の通信ネットワークの勾配法による最適化

抄録

本稿では，完全分散型学習の通信ネットワークにおける枝重みを勾配法によって学習に並行して最適化するアルゴリズムを提案する．枝重みに関する勾配計算のため，集中型学習におけるハイパーパラメータ勾配計算手法を拡張し，モデル評価コスト関数の枝重みに関する勾配を与える再帰関係式を導出する．提案アルゴリズムは，同再帰関係式を学習と並行して完全分散的に計算することを特徴とする．提案アルゴリズムを収束高速化に適用し，実験によって性能を評価した．