一般論文（査読有）
JGLUE: 日本語言語理解ベンチマーク
2023 年 30 巻 1 号 p. 63-87
詳細
2023 年 30 巻 1 号 p. 63-87
高性能な言語理解モデルを開発するためには，言語理解の能力を様々な観点から評価し分析するためのベンチマークが必要である．英語においては，GLUE (Wang et al. 2018) が先駆けとして構築されており，中国語版のCLUE (Xu et al. 2020) やフランス語版のFLUE (Le et al. 2020) など，各言語におけるベンチマーク構築も進んでいるが，日本語においては GLUE のようなベンチマークは存在せず，日本語自然言語処理において大きな問題となっている．本研究では，一般的な日本語言語理解能力を測ることを目的として，翻訳を介することなく，日本語で一から言語理解ベンチマーク JGLUE を構築する．JGLUE は文章分類，文ペア分類，QA の 3 種類のタスクから構成される．本ベンチマークによって日本語における言語理解研究が活性化することを期待する．
