情報検索における評価方法の変遷とその課題

抄録

本稿の目的は情報検索研究における評価方法の歴史的な変遷を概観し，評価の高度化のために探究されるべき課題を論じることにある。最初にクランフィールド実験・TRECという2つの画期的な検索実験を紹介する。これらは現在の検索実験の標準的な枠組みを提供した。次に，検索実験における評価指標について論じる。特に，順位付き出力の評価用に開発された平均精度について詳しく説明し，その問題点を議論する。最後に，評価尺度としての「適合性」概念について述べ，その客観的な解釈と主観的な解釈との相違を明確にする。