少量のラベル付けによる複数モデルの性能比較

抄録

教師あり学習は一般に大量の教師データを必要とするが、教師ラベルが得られにくい場合はラベル付けのコストが莫大になる問題がある。これはモデルを評価する際にも同様であり、テストデータの効率的なラベル付けが課題となる。Active Testing [Kossen et al., ICML'21]は、テストデータについて能動的にラベルを付与するサンプルを選択することで少量のラベル付けでモデルの性能を評価する方法である。しかし、機械学習の実用では単一の良いモデルが得られることよりも、複数の良いモデルの候補が得られることのほうが一般的である。この場合、候補間で性能比較を行い一番性能の高いモデルを選ぶモデル選択の問題を解く必要がある。そこで本研究では、Active Testingの方法を拡張してテストデータに対して少量のラベル付けでモデル選択を効率的に行う方法を提案する。