自然言語処理からみた「テキスト」と「テキストマイニング」

抄録

膨大なテキストを機械処理し, 知識の発見や仮説の検証を行う, テキストマイニングとよばれる方法論がさまざまな分野で活用されはじめている. そのようなテキストマイニングと密接な関係にあるのが, 計算機で日本語や英語といった自然言語の処理を探究する自然言語処理である. 本稿では, 今後, テキストマイニングが社会学も含め多様な分野で展開されることを念頭に, 自然言語処理を概観し, その言語観や自然言語処理からみたテキストマイニングについて事例を交えつつ, 論じる.

自然言語処理は, 情報科学, 言語学や認知科学などにまたがる学際的な分野である. 自然言語処理はテキストマイングを重要な応用として位置づけており, 汎用的な基礎解析だけではなく, 課題にそくした技術開発等も行われている. その自然言語処理は技術開発の際, 言語を大胆に捨象し, 近似することが日常的に行われる. その結果, 現在の技術水準では文脈などの大局的な言語情報は必然的に失われ, 自然言語処理を活用するテキストマイニングにも強く影響する. 得られる知識断片には, 専門家による関連知識の補完や解釈が必然的に求められることになる.