大小の言語モデルに基づく双方向な表現獲得

抄録

本研究では，大規模言語モデルの単方向性が古典的NLPタスクに適用するときに問題となることを指摘する．その解決策として，新たに小規模な逆方向言語モデルを学習し，その表現を連結した表現を後段タスクに用いる方法を提案する．固有表現認識を対象とした実験において，提案法によりベンチマークにおける性能が10ポイント以上向上することを確認した．さらに，提案法は学習事例が少数である場合や，ドメインが希少な場合においても有効であることを確認した．