自然言語処理
Online ISSN : 2185-8314
Print ISSN : 1340-7619
ISSN-L : 1340-7619
一般論文
抽出型オラクル要約の人手評価
平尾 努西野 正彬永田 昌明
著者情報
ジャーナル フリー

2020 年 27 巻 2 号 p. 169-188

詳細
抄録

本稿では,抽出型要約手法におけるオラクル要約,すなわち自動評価スコアを最大化する要約を生成するための整数計画問題による定式化を示し,抽出型要約システムが到達可能な自動評価スコアの上限値を明らかにする.そして,オラクル要約の妥当性を検証するため,ピラミッド法と Document Understanding Conference (DUC) で利用された Quality Questions を用いて内容と言語品質の双方の観点から人手評価を行う.文抽出,Elementary Discourse Unit (EDU) 抽出,根付き部分木抽出の 3 種の抽出型要約手法を対象とし,Text Analysis Conference (TAC) 2009/2011 のデータセットを用いて ROUGE と BasicElements (BE) を最大化するオラクル要約を生成してそれらを評価した.その結果,抽出型オラクル要約の自動評価のスコア,ピラミッド法による評価スコアは現状の要約システムのスコアよりも明らかに優れていることがわかった.一方,言語品質に関しては現状の要約システムと差がない,あるいは劣る結果となった.これらより,抽出だけでもまだ良い要約を生成できる余地がある一方,言語品質を改善する必要が明らかとなった.

著者関連情報
© 2020 一般社団法人 言語処理学会
前の記事 次の記事
feedback
Top