部分データ集合に基づくパラメータ初期化によるニューラルネットワークの学習安定化

抄録

近年，ディープニューラルネットワークは様々なタスクにおいて大きな成功を収めている．こうした成功の多くは，学習データの大規模化とネットワークの複雑化によってもたらされている．しかし，こうしたネットワーク構造と学習データの複雑化によって，ニューラルネットワークの学習が不安定になってしまうケースが多く存在する． 我々は，ネットワークの重みの初期値問題に着目することでこうした問題を解決することを目指す．本論文における提案手法は，学習データ全体の小規模な部分データ集合を用いて，ネットワークの重みをタスクやドメインにとって適切に初期化を行うことで，学習の安定化を達成する．実験結果から，提案手法がニューラルネットワークにとって望ましい重みの初期値を導出できることを示す．