自然勾配学習法における Damping 項のスケジューリング

抄録

自然勾配学習法の高速な近似手法の開発により、高い収束性を持つ二次最適化が深層学習においても用いられている。二次最適化においては、情報行列の逆行列計算が必要となるが、一般に深層学習の問題設定では情報行列は退化する。そのため、ヒューリスティックスとして、定数倍された単位行列を足し込む dampingと呼ばれる手法が用いられている。本研究では、Levenberg-Marquardt法による damping決定方法から着想を得て、dampingをスケジューリングする手法を提案し、その効果を検証した。