近傍事例との距離重み付けSoftmax関数を用いた不確実性推定

抄録

深層学習モデルの予測の信頼性が高いことは，実世界で高い安全性が必要とされる領域で応用するために重要である．しかし、深層学習モデルには実際の正解率と予測された信頼度の乖離が大きい誤較正の問題が存在する．この問題は，特に複数回の確率的推論を必要とするアプローチによって軽減することができるが，推論コストが高いため実用的ではない．本研究では、近傍事例からの距離を用いる不確実性推定手法であるkNN-weighted Softmaxを提案する．本手法は，入力事例と訓練データ中の近傍事例との間の距離に応じてlogitをスケーリングし，複数回の確率的推論を行う必要がない．テキスト分類および固有表現認識の実験により、提案手法が不確実性推定性能においてベースラインを上回ることが示された．