漢字分解したテキストによるニューラル機械翻訳

抄録

ニューラル機械翻訳モデルでは扱える語彙サイズに制約があり、この課題に対処する方法としてサブワード単位、文字単位、あるいはバイト単位で処理する方法が提案されている。一方、日本語においては文字単位に分割しても漢字のバリエーションが多いために語彙サイズは比較的大きくなる。本研究では日本語テキストに対して漢字分解を適用することで語彙サイズの低減と漢字情報の維持を両立させることを目指すニューラル機械翻訳手法を提案し、評価実験を行った。