データ劣化による分布シフトを想定した学習法の提案

抄録

画像分類など深層学習が得意とするタスクであっても、学習データにおけるノイズの強弱が不均一の場合、従来法の平均損失最小化では分類の良し悪しにも顕著な偏りが生じる。多様なデータを学習の対象としつつ、深層学習の汎化能力を保持する手法として、目的関数の平坦性と分布シフトを一度に考慮するSharpDROは提案されているが、事前知識への依存性と計算コストの増大によって実用性は限られている。本提案では、損失の「flooding」を平均損失ではなくDROの目的関数に適用することで、通常の勾配降下法と変わらない計算量でSharpDROと同様の効果を導く。