本稿は機械学習を用いて関連語・周辺語または説明文書から適切な検索用語を予測する手法を提案する．機械学習には深層学習の一種である Deep Belief Network (DBN) を用いる．DBN の有効性を確認するために，用例に基づくベースライン手法，多層パーセプトロン (MLP)，サポートベクトルマシン (SVM) との比較を行った．学習と評価に用いるデータは手動と自動の 2 通りの方法でインターネットから収集した．加えて，自動生成した疑似データも用いた．各種機械学習の最適なパラメータはグリッドサーチと交差検証を行うことにより決定した．実験の結果，DBN の予測精度はベースライン手法よりはるかに高く MLP と SVM のいずれよりも高かった．また，手動収集データに自動収集のデータと疑似データを加えて学習することにより予測精度は向上した．さらに，よりノイズの多い学習データを加えても DBN の予測精度はさらに向上したのに対し，MLP の精度向上は見られなかった．このことから，DBN のほうが MLP よりもノイズの多い学習データを有効利用できることが分かった．

抄録全体を表示

In this article, we present an incremental dependency parsing algorithm with an arc-eager variant of the left-corner parsing strategy. Our algorithm’s stack depth captures the center-embeddedness of the recognized dependency structure. A higher stack depth occurs only when processing deeper center-embedded sentences in which people find difficulty in comprehension. We examine whether our algorithm can capture the syntactic regularity that universally exists in languages through two kinds of experiments across treebanks of 19 languages. We first show through oracle parsing experiments that our parsing algorithm consistently requires less stack depth to recognize annotated trees relative to other algorithms across languages. This result also suggests the existence of a syntactic universal by which deeper center-embedding is a rare construction across languages, a result that has yet to be quantitatively cross-linguistically examined. We further investigate the above claim through supervised parsing experiments and show that our proposed parser is consistently less sensitive to constraints on stack depth bounds when decoding across languages, while the performance of other parsers such as the arc-eager parser is largely affected by such constraints. We thus conclude that the stack depth of our parser represents a more meaningful measure for capturing syntactic regularity in languages than those of existing parsers.

抄録全体を表示

本論文では，隠れ層の再帰的な構造により，過去のアラインメント履歴全体を活用するリカレントニューラルネットワーク (RNN) による単語アラインメントモデルを提案する．ニューラルネットワークに基づくモデルでは，従来，教師あり学習が行われてきたが，本論文では，本モデルの学習法として，Dyer らの教師なし単語アラインメント (Dyer, Clark, Lavie, and Smith 2011) を拡張して人工的に作成した負例を利用する教師なし学習法を提案する．提案モデルは，IBM モデル (Brown, Pietra, Pietra, and Mercer 1993) などの多くの従来手法と同様に，各方向で独立にアラインメントを学習するため，両方向を考慮した大域的な学習を行うことができない．そこで，各方向のモデルの合意を取るように同時に学習することで，アラインメントの精度向上を目指す．具体的には，各方向のモデルの word embedding の差を表すペナルティ項を目的関数に導入し，両方向で word embedding を一致させるようにモデルを学習する．日英及び仏英単語アラインメント実験を通じて，RNN に基づくモデルは，フィードフォワードニューラルネットワークによるモデル (Yang, Liu, Li, Zhou, and Yu 2013) や IBM モデル 4 よりも単語アラインメント精度が高いことを示す．さらに，日英及び中英翻訳実験を通じて，これらのベースラインと同等かそれ以上の翻訳精度を達成できることを示す．

抄録全体を表示