分布シフトのためのサンプル重み付けネットワークの構造探索

抄録

分布シフトは学習時と運用時のデータの分布が異なる状況を指し，ラベルノイズやクラス不均衡をもつデータセットでの学習などが分布シフトとして挙げられる．このような分布シフトは通常の教師あり学習手法での性能低下を招くため，分布シフトにロバストなモデルの開発が進められている．サンプル重み付けモデルは分布シフトに対応するためのモデルであり，学習データセット内に含まれる各データに対して重み付けを行うことで，ラベルノイズを含むデータや多数クラスに対応するデータの影響を抑えるために利用される．本研究では，学習時にラベルノイズやクラス不均衡がない少数のクリーンデータが利用できる状況を対象に，分類モデルと重み付けモデルを同時に学習する方法に着目する．先行研究ではサンプル重み付けモデルの構造として，入力として分類モデルの損失値を受け取るシンプルな全結合型ネットワークが利用されてきた．本研究では，サンプル重み付けモデルの性能改善のため，入力特徴量とネットワーク構造の最適化の影響を検討する．評価実験では，ラベルノイズとクラス不均衡を加えたCIFAR10に対して大きな精度向上を確認した．