データ並列深層学習における短期事前学習を用いた適応的学習係数調節手法

抄録

本稿ではデータ並列深層学習における短期事前学習(Short-Term Pre-Training: STPT)を用いた適応的学習係数調節手法について記す．SPTPとは複数の学習係数を１エポック中の数イタレーションで評価を行う手法である．本手法は複数の学習係数を用いた短時間の事前学習だけで，未知のネットワーク構造に適したLRを選択し，深層学習モデルを素早く評価できる．従来は未知のモデルに対してハイパーパラメータの決定に，数多くのプロセスを要したが，本手法ではこれを短縮する．従って，本手法は最適な学習係数を素早く決定し，学習に必要な演算時間を削減できる．８つの学習係数，８並列のデータ並列を用いて本手法を用いた場合，従来手法と比較して87.5%の演算時間の削減に成功した．また，学習係数を固定した手法と比較して4.8%の精度向上を達成した．つまり，精度劣化を起こさず，少ない演算量で最適な学習係数を求めることができる．本手法は特に，従来手法と比較した場合，未知の深層学習モデルに対して効果を示す．