主催: 一般社団法人 人工知能学会
会議名: 2025年度人工知能学会全国大会(第39回)
回次: 39
開催地: 大阪国際会議場+オンライン
開催日: 2025/05/27 - 2025/05/30
Epoch-wise Double Descentは,ラベルノイズデータを含む学習においてテスト損失が過学習後に再び減少する現象を指す.過学習は一般にbias-variance trade-offにより解釈されるが,二重降下現象はこの枠組みでは説明できない.そこで本研究では,学習過程を正誤ラベルに分けて解析することで,現象のさらなる理解を目指した.CIFAR-10データに30%ラベルノイズを付与し,7層MLPモデルを用いて数値実験を行った.その学習過程を,正しいラベルデータの訓練損失,ラベルノイズデータの訓練損失,ラベルノイズデータを正しいラベルで評価した訓練損失に分離して可視化した.その結果,二重降下現象が生じるまでに以下の3つの学習フェーズに分かれることがわかった.まず,正しいラベルデータのみが学習される.次に,ラベルノイズデータの学習が始まり,それによるテスト損失上昇が始まる.さらにラベルノイズデータの学習が進むと,逆にテスト損失の減少が始まり二重降下現象となる.これより,二重降下現象はノイズラベルへの過適合により,逆に汎化性が生じている現象と解釈できる.