本稿では, 要約手法として複数の正解に基づく評価法の提案を行なった.従来のテキスト要約の評価方法では唯一の正解を用いるが, テキストによっては観点の異なる正しい要約が複数存在する場合もあり, 評価の信頼性が保証されないという問題があった.我々は, 自動評価の信頼性を高めるため, 特に重要文抽出法に焦点を当てて複数の正解に基づく評価方法を検討した.提案手法では, 複数の正解と評価対象の要約を共にベクトルで表現し, 複数の正解の線形結合と評価対象の要約との内積の最大値を評価値とする.提案手法の検証のために, NTCIR-2要約データ中の4記事に対して, 要約者7名で要約の作成を行なった.正解の要約問の一致度に基づく品質評価の結果, 提案手法の評価の正解として用いるのに十分な品質が得られなかったが, 要約の比較から, 照応関係, 結束性等, 元テキスト中の構造を損なわないように要約する共通の法則性が見出され, 今後要約の正解を作成する上で有用な知見を得た.提案手法の有効性を検証する予備実験として, 異なる幾つかの自動要約手法と複数正解との一致度に基づく評価を行なった.正解ごとに評価の高い自動要約手法が異なるという傾向が見られ, 複数の正解を用いることで評価対象の要約との相性によらない評価結果を得るという提案手法の前提を裏付ける結果を得た.
