文書要約のための階層型 Attention モデルの提案と Pointer Generator Network のための拡張手法

抄録

近年文書要約に関する研究が活発に行われている．その中でもニューラルネットワークを用いたAttention based SummarizationモデルやPointer Generator Network (PGN) モデルなどがある．しかし，これらの要約モデルは複数の文で構成される文書を1つの文として扱うため，各文を個別に処理したり，文間の関係を考慮して文を要約したりすることは不可能である．要約は文の関係を考慮してされるものであるため，文を個別に処理し文の依存関係を獲得できるモデル構造は，文書要約の改善につながると考えられる．そこで本論文では，複数の文で構成される文書の各文ベクトルを取得する階層型Attentionモデルをもとに文間の関係を得るために，ゲート付き畳み込みニューラルネットワークや自己注意機構を組み込んだモデルを提案する．またPGNのモデル構造を使用するための拡張手法も提案する．実験により提案モデルが各文章を個別に処理することで文間の関係を獲得でき，最新のモデル構造を組み込むことができるハイブリッドモデルであることを示した．