人工知能学会全国大会論文集
Online ISSN : 2758-7347
第39回 (2025)
セッションID: 3Win5-01
会議情報

早期終了における正誤ラベル間学習差の解析
*宇田 竜健飯田 佑輔
著者情報
会議録・要旨集 フリー

詳細
抄録

深層学習モデルは,早期終了時にラベルノイズ頑健性を持つことが知られる.一方,近年の研究で学習初期では,正しいラベルサンプルによる学習ダイナミクスが支配的になることが明らかになってきた.しかし,それだけでラベルノイズ頑健性を持つに至るかは自明ではない.そこで本研究では,正誤ラベル間での学習差という別視点から,そのメカニズム解明を目指した.MNISTを2層パーセプトロンモデルで学習し,解析した.まず,重み更新の差について調査し,正誤ラベル間で重み更新のベクトルが平行になることが確認された.また,ノイズ有無で学習後の重みのコサイン類似度が,1層目は0.88±0.02と高く,2層目は0.69±0.08であった.さらに,ノイズ有無でそれぞれの学習後の重みパラメータでの損失関数形状を可視化し,収束先を比較した.その結果,ラベルノイズの割合が70%と大きな場合においても,正しいラベルのみで学習した場合と全く同様の局所解もしくは周辺のプラトー領域に収束していた.このことから,早期終了時のラベルノイズ頑健性に,損失関数の平坦さが重要であると考えられる.

著者関連情報
© 2025 人工知能学会
前の記事 次の記事
feedback
Top