決定損失の期待値と分散を用いた分類モデルの較正

抄録

分類モデルが出力する予測の不確実性を適切に調整する手法を較正 (calibration) という。特に深層学習などの高性能なモデルが出力する不確実性は実際のデータと乖離する傾向にあり、較正手法の重要性が高まっている。 較正手法の一種であるDecision Calibration [Zhao et al., NeurIPS'21]は、モデルの予測に基づいてユーザが意思決定を行った際に受ける損失（決定損失）を用いて較正を行う。モデルの出力する不確実性から計算される決定損失の期待値と、実際に意思決定を行った際に生じる真の決定損失の期待値が近づくようにモデルの出力を補正する。 これに対し、本研究では決定損失の分散に着目し、意思決定後に受ける決定損失の期待値および分散の両者を適切に推定できるようにモデルの出力を補正する方法を考案する。提案手法により、ユーザは意思決定を行った際の決定損失の期待値だけでなく、そのばらつきの程度をも適切に見積もることが可能となると期待できる。