あるトピックに関して対話的に行われる一連の情報アクセスを質問応答システムが支援する能力, 情報アクセス対話の対話相手として情報を提供するために質問応答システムが持つべき能力を定量的に評価するためのタスクを提案する.このタスクでは, 対話の実現の基本となる対話文脈を考慮した質問の解釈, つまり照応解消や省略処理等のいわゆる文脈処理の能力を評価する.本稿では, タスクの設計を示し, その根拠となる調査結果を報告する.提案するタスクは以下の点で新規かつ有益である.対話的情報アクセスを対象として, そこで必要な質問応答技術が効果的に評価できるという課題設定と構成の独自性を持つ.評価尺度については応答の自然性において問題となる回答の質や回答列挙の体系の違いに配慮し, 複数の体系を許す多段階評価手法を備えている.システムの文脈処理能力をある程度まで切り離して評価することを可能とする参照用テストセットと呼ぶ枠組みを有している.
