木構造Transformerを用いた教師あり統語構造解析

抄録

Transformerのattention機構を利用することにより、入力文の統語構造を発見する教師なし学習手法Tree-Transformerが存在する。一方で統語構造については、PennTreeBankなど良質な教師データが存在している。このようなデータを用いて、Tree-Transformerに教師あり学習を適用し、文の統語構造解析を行う手法を提案する。 また、本研究ではTransformerのエンコーダの中間層に直接適用する階層的誤差逆伝播法を新たに提案し、ニューラルネットワークの枠組みで統語構造解析を実現する。 実験により、提案手法が統語構造解析に有用であることを確認した。