カテゴリ毎にAuto Encoderを用いるDeep Neural Networkの構築法に関する一考察

抄録

近年，Deep Neural Network（以下，DNN）と呼ばれる手法が注目を浴びている．この手法において，学習の初期値は得られる結果の精度に影響を与える．そのため，Pre-trainingにより初期値を求めFine-tuningを行う手法が提案されている．この手法の1つにDeep ECOCがある．これは，多値分類のために，Support Vector Machine（以下，SVM）による学習をPre-trainingとしたものである．この手法では，あるカテゴリとその他のカテゴリを分けるSVMの学習結果をDNNの初期値として用いている．つまり，このSVMは各カテゴリの特徴を捉える形と捉えることができる．本研究では，この考え方を援用し，カテゴリ毎にその特徴を表現するDNNに分岐させることにより，精度向上を目指す．そこで，各カテゴリの特徴を表現するPre-training としてAuto Encoderを用いることを提案する．そして，この結果を用いてDNNを再学習する．これらの提案手法の有効性を検証するために，新聞記事データを用い，評価実験を行う．