適応型モデル選択基準に基づく非線形回帰モデルの推定
2004 年 33 巻 1 号 p. 71-91
詳細
2004 年 33 巻 1 号 p. 71-91
ノンパラメトリック回帰分析に用いられるさまざまなモデルにおいては,tuning parameterの最適化によるモデル選択が重要な問題となる.本稿では,広範なモデルの候補から適切なモデルを選択するための,モデル選択基準とその最適化法について考察する。AIC, BIC, Mallows's Cpなどのよく知られたモデル選択基準は,固定されたペナルティーによってモデルの大きさを制御する.これら固定されたペナルティーは,例えば,小さなペナルティーを持つモデル選択基準は,大きなモデルを最適なものとして選択する傾向があり,結果として,小さなペナルティーは真のモデルのサイズが大きい場合に良好に動作し,それ以外の場合には不十分にしか働かない,といったselection biasを持つ.これに対し本稿では,回帰関数と推定量の乖離を測る相対二乗損失の,最良推定量として導出される適応型モデル選択基準を用い,データ適応的なペナルティーを適用することでselection biasを回避することを提案する.また,モデル選択基準の最適化は一般に複雑な非線形問題となるが,従来はgrid searchなどの決定論的方法によりsub optimalな解を得るにとどまっていた.本稿では大域的最適解を与える確率的方法,とくに遺伝的アルゴリズム(EA)を用いたモデル選択基準最適化を考察する.提案された方法論は1)二種類の階層型ニューラルネットワーク,i)シグモイド型動作関数を持つSingle layer feed-forward neural network,ii)動径基底関数ネットワークと,2)Support Vector Machineとに適用され,数値実験を通じてその有効性が検証される.
