人工知能学会全国大会論文集
Online ISSN : 2758-7347
第39回 (2025)
セッションID: 3L5-GS-1-05
会議情報

Epoch-wise Double Descentにおける正誤ラベルに対する学習過程差の解析
*久保 友樹飯田 佑輔
著者情報
会議録・要旨集 フリー

詳細
抄録

Epoch-wise Double Descentは,ラベルノイズデータを含む学習においてテスト損失が過学習後に再び減少する現象を指す.過学習は一般にbias-variance trade-offにより解釈されるが,二重降下現象はこの枠組みでは説明できない.そこで本研究では,学習過程を正誤ラベルに分けて解析することで,現象のさらなる理解を目指した.CIFAR-10データに30%ラベルノイズを付与し,7層MLPモデルを用いて数値実験を行った.その学習過程を,正しいラベルデータの訓練損失,ラベルノイズデータの訓練損失,ラベルノイズデータを正しいラベルで評価した訓練損失に分離して可視化した.その結果,二重降下現象が生じるまでに以下の3つの学習フェーズに分かれることがわかった.まず,正しいラベルデータのみが学習される.次に,ラベルノイズデータの学習が始まり,それによるテスト損失上昇が始まる.さらにラベルノイズデータの学習が進むと,逆にテスト損失の減少が始まり二重降下現象となる.これより,二重降下現象はノイズラベルへの過適合により,逆に汎化性が生じている現象と解釈できる.

著者関連情報
© 2025 人工知能学会
前の記事 次の記事
feedback
Top