微分可能な自動データ拡張を用いたラベルなしテストデータセットの評価

抄録

深層学習を用いた実応用研究及びオープンデータセットの整備が進んでいる．実世界での精度評価のために収集データへのアノテーションが必要となるが，さまざまな条件下での運用を想定した場合収集データが膨大になり，アノテーションの問題が生じる．そこで本研究では，ラベルあり訓練データを用いたラベルなしテスト評価に取り組む．学習済みモデル(分類器)の与えられたデータセットにおける精度を予測可能なモデル(予測器)を用いることで，ラベルなしテストセットでの精度の予測が可能となる．予測器を訓練させるため，ラベルあり訓練データを変換したデータセット(メタセット)を用意する．メタセットには元のデータセットのラベルが付与されているため，学習済み分類器による精度の回帰問題として定式化ができる．この時，学習データであるメタセットの作成方法が重要となる．本研究では，テストセットの統計量から必要なメタセットの統計量を算出し，微分可能なデータ拡張を用いて所望のメタセットを作成する手法を提案する．本研究では，MNISTやUSPSなどのベンチマークデータセットを用いて実験を行い，その結果を報告する．