用語解説
Extreme Learning
2014 年 26 巻 1 号 p. 25
詳細
2014 年 26 巻 1 号 p. 25
Extreme Learningは，G. B. Huangらにより2004年に提案されたフィードフォワード型ニューラルネットワークの学習手法の一つで，特に隠れ層が一層だけのモデル（ Single－hidden－Layer Feed－forward Neural－networks:SLFNs），すなわち入力層―隠れ層―出力層のみの三層のモデルを対象としている．ニューロンの活性化関数にシグモイドなどの非多項式関数を用いた荷重加算型ニューロンや，RBF（Radial－Basis Function）型ニューロンを用いた場合は，十分な数の隠れ層と適切な重み・しきい値のパラメータ設定を行うことで，SLFNsが任意の連続関数を任意の誤差でシミュレートできることが知られている．Extreme Learningは隠れ層の重み・しきい値パラメータをランダムに決定し，（隠れ層から入力される）出力層の重みを教師信号との誤差が最小化するよう選択する．このとき，隠れ層の数 n を n →＋∞をとしたときの出力誤差の極限は０になることが示されている．出力層の重みは，全ての訓練データによる隠れ層出力値のムーアペンローズの一般化逆行列を計算することで求められる．Backpropagationなどの逐次的な手法と異なり一度の計算で解が求まるため速度の向上が期待され，Huangらは，Sinc関数の模擬においてBack Propagation やSupport Vector Regressionによる学習と同じ精度の近似を３～５ケタ小さい計算時間で求められることを示している．
［１］ G. B. Huang, et al.,“ Extreme learning machine: Theory and applications,” Neurocomputing, 70, pp.489－501, 2006．
