汎化指標を基軸とした学習則の設計と損失分布の変容

抄録

学習システムの性能の本質は単なる「損失の算出」ではなく、その「汎化能力」にある。概念的にこれは当然のことだが、「汎化能力を実際にどう測るか」という問いは決して自明ではない。しかし、特に統計的機械学習の研究分野では「汎化能力は損失の平均値に決まっている」という考え方が問われない「常識」として完全に定着しており、学習システムが設計の段階から平均的な性能に偏重していることが客観視できない状況であるとさえ言える。 そこで本研究では、汎化能力の本質は損失の分布に宿るという考え方を起点として、学習システムの本来の目的と望ましい損失分布の整合性を求める次世代の学習アルゴリズムの設計法を探求するにあたり、従来の汎化指標で表現できない損失分布の性質を捉える指標クラスを構築し、クラス間の特性を入念に検証した上で、「リスクの制御」が多クラス識別誤差という観点でも学習過程の安定化と効率化に寄与することを確認した。