主催: 一般社団法人 人工知能学会
会議名: 2024年度人工知能学会全国大会(第38回)
回次: 38
開催地: アクトシティ浜松+オンライン
開催日: 2024/05/28 - 2024/05/31
実世界で機械学習システム運用時にデータ分布シフトが発生し,これがモデル検証時の精度と比較して性能の劣化を引き起こす問題となっている.この性能劣化の検出が可能になれば,モデルの再学習や構造の見直しなど適切な対策を講じることができる.しかし,運用後のデータに逐次的にラベルを付与すること,そのコストの高さから継続的なラベル付けは現実的ではない.そこで,本研究ではラベルがないテストデータにおけるモデルの性能推定に焦点を当てる.ラベルがない限りテストデータにおける精度を直接算出することは不可能なため,先行研究ではテスト精度と相関関係にある距離や指標を利用して,テスト精度の推定を試みている.その一つに対照精度を利用した研究があるが,評価したいモデルの訓練と同時に対照学習を行う必要があり、既に学習済みのモデルには適用できない.そこで,本研究では,評価対象のモデルを知識蒸留を用いて代理モデルに変換し,代理モデルで対照学習を行うことにより,モデルのテスト性能をラベルなしで推定可能な手法CoLDSを提案する.本稿では,CoLDSの有効性について実験を行い,その結果を報告する.