アンサンブル学習法の回帰分析への応用

- Arcing_RAの提案と評価 -

抄録

学習精度の高くない学習機械(Weak Learner)を複数足し合わせることにより、相関性、予測性を向上させるアンサンブル学習法(Ensemble Learning)を回帰分析に適用するため、新しいアルゴリズムArcing_RAを提案した。モデルケースとしてFriedman Test; f(x) = 10sin(pix1x2) + 20(x2-0.5)2 + 10x4 + 5x5 + N(1,0) (x1-5は0-1のランダムな値；N(1,0)は正規分布で与えられる誤差)を用い、学習用に200データ、予測用に1000データを発生させ、相関、予測精度を評価した。学習機械としては、3層からなる階層型Neural Networkを用いた。1つのNeural Networkを用いた場合、中間層のNeuron数が10を越えると過学習が起こることが確認されたため、過学習の起こらない中間層に5個のNeuronを用いたNeural NetworkをWeak Learnerとして採用し、相関、予測精度が向上されるかテストを行った。各データの重みを決定するリサンプリングの方法が異なる3つの方法Arcing_RA1-3を検討した結果、いずれの方法も相関、予測における絶対平均誤差を約20%減少させることが確認され、その有効性が示された。