2022 年 29 巻 3 号 p. 835-853
本稿では,BART モデルに文書の階層構造(文-単語構造)を取り込んだ階層型 BART (Hie-BART) を提案する.既存の BART モデルは,生成型文書要約タスクにおいて高い要約精度を達成しているが,文レベルと単語レベルの情報の相互作用を考慮していない.一方,機械翻訳タスクでは,単語とフレーズ間の関係を把握する Multi-Granularity Self-Attention (MG-SA) が提案されており,この技術によってニューラル機械翻訳モデルの性能が向上されている.提案手法である Hie-BART モデルでは,BART モデルのエンコーダに MG-SA を組み込むことで,文と単語の階層構造を捉える.評価実験の結果,提案手法は CNN/Daily Mail データセットを用いた評価では ROUGE-L において 0.1 ポイントの改善が見られた.