SENSEVAL-2日本語辞書タスク
2003 年 10 巻 3 号 p. 3-24
詳細
2003 年 10 巻 3 号 p. 3-24
SENSEVALは語義曖昧性解消を対象としたコンテストである. 本論文では, 第2回SENSEVAL (SENSEVAL-2) における日本語辞書タスクの概要について報告する. 日本語辞書タスクでは, 語の意味の区別 (曖昧性) を岩波国語辞典によって定義した. 参加者には, 岩波国語辞典, 訓練データ, 評価データの3つが配布された。訓練データは, 3,000個の新聞記事中の単語に正しい語義を付与したコーパスである. 一方評価データは, 参加者のシステムが語義を選択するべき単語を含んだ新聞記事である. 評価単語の種類は, 名詞50, 動詞50, 合わせて100個である. また各評価単語毎に100ずつ語義を選択するとしたため, 評価単語の総数は10,000である. 正解データは, 評価対象となる10,000個の単語について, 二名の作業者が独立に正しい語義を付与して作成した. この際, 二者の語義が一致した割合は0.863であり, Cohenのκは0.657であった. また, 二者の語義が一致しなかった場合には, 第三者が正しい語義を選んだ. 日本語辞書タスクには, 3団体7システムが参加した. ベースラインシステムのスコア (正解率) が0.726であるのに対し, 一番成績の良かった参加者のシステムのスコアは0.786であった.
