自然言語処理
Online ISSN : 2185-8314
Print ISSN : 1340-7619
ISSN-L : 1340-7619
一般論文(査読有)
単語分割と後段モデルの損失値を用いた同時最適化
平岡 達也高瀬 翔内海  慶欅 惇志岡崎 直観
著者情報
ジャーナル フリー

2022 年 29 巻 1 号 p. 112-143

詳細
抄録

本稿では,後段モデルと単語分割器を同時に学習することで,後段モデルに適切な単語分割を獲得する新たな手法を提案する.提案手法では,後段モデルを学習する際に得られる教師信号との損失値を用いて単語分割器の学習を行う.これにより,提案手法は損失値が計算できるあらゆる後段モデルに対して制限なく使用することができ,さまざまな自然言語処理のタスクで単語分割の最適化を行うことができる.さらに,提案手法はすでに学習済みの後段モデルに対しても,後処理として単語分割を最適化することで,後段モデルの処理性能を底上げすることができる.そのため,提案手法は自然言語処理のさまざまな場面で利用することが可能である.実験を通して,提案手法が 3 言語の文書分類タスクで性能の向上に貢献することを確認した.また,8 言語対での機械翻訳タスクにおいても,提案手法が性能向上に寄与することを確認した.

著者関連情報
© 2022 一般社団法人 言語処理学会
前の記事 次の記事
feedback
Top