方言に起因する形態素解析の区切り誤りを自動検出する手法の試作

抄録

本稿は、形態素解析において発生する解析誤り、特に形態素の区切り誤りを自動検出する手法を提案する。方言が含まれる文は一般的な文と比較し、形態素解析をした際に区切り誤りが発生する可能性が高い。そのような解析誤りを検出する手法として、解析誤り例(教師データ)を学習器に学習させ、判定する方法が考えられる。しかし解析誤り例の抽出は人手による作業が必要であり、人的コストが必要となる。 本稿では形態素の出現確率を元に人的コストを必要としない手法を提案する。