ハイパーネットによる識別モデルのベイズ推定とモデル平均化

抄録

ニューラルネットワークには高い表現力があり，実世界での複雑なタスクに用いることができる．しかし，学習に利用できるデータは限られているため，過学習を起こしやすい問題がある．過学習を防止することはニューラル ネットワークの利用において最も重要な課題の1つであり，様々な正則化手法が研究されている．本稿では，ハイパーネットを用いたニューラルネットの正則化手法を提案する．提案手法では，確率分布からのサンプルを入力とするハイパーネットを使用し，ニューラルネットのパラメータを生成する．これによりハイパーネットによって生成されるパラメータは暗黙的な分布を持ち，学習を正則化することが期待される．また，重みの分布が学習されることから，モデル平均化により識別精度の向上を試みる．実験では提案手法には一定の正則化効果があることがわかった．