文脈を考慮したアテンションメカニズムによって計算量の削減

抄録

ニューラル機械翻訳モデルにアテンションが重要な役割を果たしている。しかし、アテンションモデルの計算は全ての位置について行われるためで、計算複雑さを大幅に上昇した。本研究では、冗長なアテンション計算を削減できる新しいメカニズムを提案する。提案モデルは、位置に基づくペナルティを計算し、大きくペナルティされた位置に対するスコアの計算はスキップされる。実験で、計算を平均50％以上削減できることを確認した。