日本統計学会小川研究奨励賞特別寄稿論文
超曲面上に特異性を持つ関数推定における深層ニューラルネットワークの優位性
2022 年 52 巻 1 号 p. 33-51
詳細
2022 年 52 巻 1 号 p. 33-51
本稿では，深層ニューラルネットワークの標準的手法に対する優位性の解明を目的とした，ノンパラメトリック回帰のミニマックス誤差レート解析を紹介する．ノンパラメトリック回帰の問題では，多くの標準的手法が滑らかな関数に対して汎化誤差のミニマックス最適レートを達成することがよく知られており，深層ニューラルネットワークの理論的優位性を明らかにすることは容易ではない．本稿で紹介する研究は，超曲面上に特異性を持つ非滑らかな関数のクラスに対する推定を考え，この理論的なギャップを埋めるものである．当該研究で得られた結果は以下の通りである：(i) 深層ニューラルネットワークによる関数推定量の汎化誤差を解析し，その収束レートが（対数オーダーの影響を除いて）最適であることを証明．(ii)深層ニューラルネットワークが カーネル法，ガウス過程法などの標準的手法を優越する状況を特定し，その相図を構成．この深層ニューラルネットワークの優位性は，多層構造が特異点の形状を適切に処理できることに由来する．
