情報管理
Online ISSN : 1347-1597
Print ISSN : 0021-7298
ISSN-L : 0021-7298
 
自然言語処理における人間とコンピューターの協業
金山 博
著者情報
ジャーナル フリー HTML

2013 年 55 巻 11 号 p. 791-801

詳細
著者抄録

自然言語処理の技術が盛んに研究されており,検索・翻訳・自動応答・校正など,さまざまな分野での実用化が進んでいる。IBM Research(基礎研究部門)における当分野の取り組みとして,2011年に米国のクイズ番組において人間と対戦した質問応答システム「Watson」のほか,大量の文書からビジネスに有用な知識の発見を補助するテキストマイニング技術「TAKMI」などがある。これらの成功に共通する点は,人間が苦手とする処理をコンピューターに代替させたこと,人間が持つ言語に関する知識をコンピューターに与える手段を確保したこと,そして人を驚かせる結果を出したことである。情報が日々増大する中で,どのような技術を研究開発し,また活用していくべきか,計算言語学の研究者の観点から論じる。

1. はじめに

電子化されたテキストデータの量が増大している中で,それらの情報をコンピューターによって自動的に処理する技術に対する期待が増している。しかし,自然言語,すなわち人間が日常的に扱う言語は,プログラミング言語やデータベースの数値のように明確な意味構造を持たず,コンピューターに扱わせようとすると,しばしば不確実性,曖昧性などの問題に悩まされる。

そもそも,人間とコンピューターとの自然な対話が実現されていなかったり,文学作品をコンピューターが書くのが困難だったりするように,言語の理解や創造といった点ではコンピューターよりも人間のほうが優れている点が多い。では,コンピューターに委ねるべき処理,コンピューターを用いてこそ可能となるデータの活用方法とは何なのか。本稿では,それを考えていくために,これまでの自然言語処理の活用事例を見ながら人間とコンピューターの関係について論じていきたい。

まず2章で,自然言語処理の適用分野と要素技術を概観する。次に,3章でIBMの質問応答システムWatson,4章ではテキストマイニングシステムTAKMIにおいて,人間とコンピューターの考え方や得意分野の違いを挙げながら,両者がコンピューターの強みを活かしている点を紹介し,5章で議論のまとめを行う。

2. 自然言語処理とは

自然言語は英語,日本語,手話など,人間同士のコミュニケーションのために長い年月を経て自然発生的に構築された言語であり,しばしばプログラミング言語などの人工的に設計された形式言語と対比される。自然言語処理は,自然言語を機械的に処理するための要素技術およびその応用を含む技術分野であり,情報科学と言語学の接点として,また人工知能に関する研究の一側面として盛んに研究されると同時に,その応用は仮名漢字変換やWeb検索をはじめ,日常生活に欠かせないものとして浸透している。図1に,自然言語処理の適用分野と要素技術,そして人間の知識が介在する場面として代表的なものを挙げる。以下の各節でこれらについて順に解説する。

図1 自然言語処理の適用分野と要素技術

2.1 自然言語処理の適用分野

Web上や企業内における文書の検索は,コンピューターのほぼ全利用者にとって必須の技術であろう。自然言語処理の技術として,少なくとも日本語の場合には文を単語単位に区切る「形態素解析」が必要となる。Web検索においては,重要な単語(キーワード)とリンクの構造などに基づいて最適なページを出力するのが主流であるが,企業内の文書の検索の際には,業務内容や特定の組織に関する情報を調べるなど,キーワードの一致を超えた処理により高度化される場合もある。

自動翻訳は,古くは1950年代から研究が始まり,長年にわたって,技術と応用の両面において自然言語処理の花形として研究開発が続けられた。これは,入力された文を他の言語に変換する過程で,係り受け構造の解析や語義の選択など,構文的・意味的な処理を行う基礎技術の達成度が測れる一方で,文の意味をコンピューターが「理解」していなくても人間にとって有用な出力を出しうるという特性を持つからである。特にインターネットが普及したての頃,英語が苦手な日本人が,英語で書かれた情報を日本語に翻訳して意味を把握する,といった用途で非常に重宝された。一方,日本語で書いた文書を翻訳して英語話者に伝えるといった場面においては,完全に自動的な翻訳では意図が伝わらないことが多く,業務翻訳において定型的な翻訳を再利用する「翻訳メモリ」を利用したり,自動翻訳の結果をいわゆる「下訳」として使うなど,人間の翻訳業務を補助する使い方が現実的である。また,近年は言語の知識の利用を極力排除し,2言語の対訳文を大量に用意して対応関係を自動的に求める「統計的機械翻訳」が主流となってきている。

質問応答は,検索をさらに高度化したもので,自然言語で質問した内容にコンピューターが自動的に答えを返してくれるシステムとして期待されている。もともとは1980年代に開発されたエキスパートシステムに始まり,医療や金融など,特定の分野の詳細な知識をコンピューターに蓄えていくものであるが,if-then-elseの規則の列挙では実用的な結果を得るのは難しい。近年は,スマートフォンのアプリケーションに見られるように,音声で入力された文を認識し,それに対する答えや情報へのリンクを提供するものが実用化されている。クイズ番組で人間と対戦した質問応答システムWatsonについては3章で述べる。

知識発見は抽象的なタスクに見えるが,テキストマイニングの主目標であり,大量の文書中に隠された傾向をもとにビジネス上の意思決定に結びつけるという高度な操作である。構文解析やその他の要素技術を精緻化することにより新たな知識が発見できる可能性が高まることから,ここでは自然言語処理の応用の1つとして位置づけた。詳しくは4章にて述べる。

2.2 自然言語処理の要素技術

上記で紹介した応用を支える技術として,まず,日本語や中国語など,単語の間に空白が無い言語では,最初に文を単語に分解する処理が必要となる。これを形態素解析と呼び,通常は同時に品詞(名詞・動詞・助詞など)が付与される。次に,それらの単語がどの語を修飾しているかを示す構造(係り受け)を求める処理が構文解析である。人工言語は構文の曖昧性が無いように設計され得るが,自然言語においては本質的に複数の解釈が可能となる文注1)が存在し,処理をいっそう難しく(研究者にとっては楽しく)している。

文中において人名・地名・組織名といった実世界の事物の名称が書かれている部分を同定する固有表現抽出注2)は,その後の意味的な処理の基礎となる。多義語がどの意味で使われているかを求める語義判定注3)は翻訳の訳し分けにおいて重要であるほか,多くの局面で使われる。「上位語と下位語」「作品名と著者」といった事物の関係を文書から抽出する関係抽出は,質問応答などで使われる知識源となる。人々の発言が,質問,要望,苦情などどのような意図を持つかをとらえる技術(意図推定)も,対話や知識発見のために欠かせない。

2.3 自然言語処理と人間の知識

上記のように,多くの要素技術が応用と絡み合っている。その技術の源として,人間の持つ言語的知識や社会的な常識が辞書や規則として入力されている。近年では,翻訳の項で触れたように,これらのほぼすべての要素技術において,人手で知識を準備するかわりに,大量の文書(コーパス)から取得できる統計情報を用いて問題を解決するのが主流となっている。この傾向は,利用可能なデータが増大していることのほか,自然言語に関しては簡単にアルゴリズム化できないような複雑な問題が多いことを示している。これらのアプローチは機械学習と呼ばれているが,その手法やデータが何であれ,すべてはどこかの段階で人間が作り出した知識が根源となっており,ほとんどの場合はコンピューターが自ら意思を持って「学習」しているわけではない。

さらに,多くの応用において,それがいかに有用となるかは使う側の人間に委ねられている。自動翻訳の技術が「バカとハサミ(のように使いよう)」と例えられるように1),その有効活用のためには,いかにコンピューターが理解しやすい文を入力するか,結果をどのように使うか,といったセンスが要求される。以降の章では,質問応答システムから引き出せる知識が何か,テキストマイニングを通じて何を分析して意思決定に結びつけるか,といった点を中心に,コンピューターと人間の能力の組み合わせの必要性について考えていく。

3. 質問応答システムWatson

2011年2月,IBMの質問応答システムWatsonが米国のクイズ番組「Jeopardy!」において,人間のチャンピオンと対戦した2)。広い分野にわたって出題される英語で書かれた質問文に対して,対戦相手よりも高速でボタンを押し,次々と正確に解答を読み上げるWatsonの姿は,番組が放映された米国内はもちろん,世界中の人々に驚きと感動を与えた。

Watsonがクイズ番組のパネルをめくり,ボタンを押して解答をして,司会者に対して受け答えをする姿は,あたかも人間の知能を持っているかのように見えてしまう。しかし,この見方はWatsonの,そして自然言語処理の現状や目標を見失うことにもなりかねない。実際のWatsonは,人間の思考のプロセスを模倣することを目指すものではないからである。以下で,Watsonの技術の本質と,人間とコンピューターの違いについて整理しておきたい。

図2 Watsonの筐体

3.1 Watsonの技術の概要

Watsonが実現したのは,自然言語処理の用語で「ファクトイド型質問応答」と呼ばれる,質問文で問われている名詞や固有名詞を答えるという課題の解決である。対戦の題材となったクイズ番組Jeopardy!では,歴史・文学・芸能・科学など,あらゆる分野の問題が出題される上,言葉遊びや連想などの要素も加わり,非常に広い知識が要求される。表1に示す例のように,質問文と問題のカテゴリー(問題のジャンルを表す語句)は複雑で,出題を予測して問題と答えのデータベースを作っておけるような代物ではない。

表1 Watsonが対戦で正答した問題の例
1 カテゴリー:Dialing for Dialects
質問文:While Maltese borrows many words from Italian, it developed from a dialect of this Semitic language.
(マルタ語はイタリア語から多くの語彙を借りているが,それはこのセム語系言語の方言から発展した)
答え:Arabic (アラビア語)
2 カテゴリー:Alternate Meanings
質問文:4-letter word for the iron fitting on the hoof of a horse or a card-dealing box in a casino.
(馬のひづめに付ける金具,またはカジノでカードを入れる箱を表す4文字の語)
答え:Shoe

Watsonは図3のように,複数の仮説を立てて,それぞれの妥当さを検証するという仕組みで動いている。まず,質問文とカテゴリーを受け取り注4),何が問われているかを判断する。

図3 Watsonの処理の流れ(参考文献2)より引用)

次に,質問文の中の重要な語と一緒に使われやすい語を情報源から検索して,答えとなりそうな候補(仮説)を数十~数百個列挙する。検索する対象の情報源とは,百科事典やニュース記事,ブログなどの生のテキストや,語彙体系(シソーラス)などであり,インターネットには接続せず,すべての情報が前もって蓄えられている。表1の例1の場合,「アラビア語」「シチリア語注5)」「地中海」などが候補として挙がる。

最も知的な処理は,それらの仮説の正しさを示す根拠を探し出すために,質問文と情報源とをマッチングする部分にある。例えば,根拠として,「セム語系言語である」などの条件と合致する内容が情報源に見つかるかどうかが検査される。その根拠を重み付けして数値化した確信度をもとに,ボタンを押して解答するかどうかを判断し,他の対戦者より早くボタンを押すことができた時には音声合成により解答を読み上げる。処理の高速化のために2,880コアのマシンで並列化を行っている。

3.2 Watsonの開発の過程

対戦相手のKen Jennings氏による,対戦前の「Watsonを作ったのも人間。われわれとWatsonのどちらが勝っても人間の勝利だ」という発言は,きわめて象徴的である。とかく人間とコンピューターの戦いととらえられがちであるなか,彼の発言は本質を突いているといえる。

Watsonの開発の過程は,スティーブン・ベイカー氏によるドキュメンタリー3)に詳しく書かれている。多くの研究員が目標に向かって試行錯誤を繰り返した末に図3に見られるアーキテクチャを採択した。その後は,過去のJeopardy!の問題を使って実験を行い,その時点のシステムが解けない問題のタイプを分析し,それらを解けるようにする方法を徹底的に議論した。そして,マッチングに用いる意味的な処理を追加したり,情報源に新たな文書を追加したりしていった。その作業はまさに人間による知的処理といえる。

人手の作業とはいえ,答えを求めるための規則や語彙体系を大量に書き下したり,質問文や情報源の意味を論理式に変換するアルゴリズムを設計したりしたわけではない。こうしたアプローチは,規則の副作用や自然言語の曖昧性によって,知識の規模が大きくなるとシステムが破綻するケースが多く,1980年代の人工知能の挫折の原因にもなった。Watsonの能力を高めていった秘訣は,コンピューターに適した情報の扱い方に徹したことである。

具体的には,知識そのものは百科事典やニュース記事をはじめとした生のテキスト情報を活用したこと,情報源と質問文のマッチングという柔軟な仕組みで「意味」を扱ったこと,そして過去の問題と正答のデータから統計モデルを自動的に作って,根拠の重み付けをしたことである。すなわち,コンピューターが得意な計算を補助する部分に人間の知識を投入したといえる。

3.3 Watsonと人間との違い

興味深いことに,Watsonの考え方が人間と異なる点は,実際の対戦の中にも表れていた。

2の例3は,Watsonの有名な誤答として話題となった,“US Cities”というカテゴリーの問題である注6)。対戦相手は2人とも“Chicago”と正答したが,Watsonは“Toronto”と,カナダの都市を書いて誤答をしてしまった。人間にとってはあり得ない間違え方であるが,これはWatsonがカテゴリーを見て「米国の都市が答えとなること」を絶対的な制約とせずに,米国の都市が答えとなる確信度を相対的に高める要素として使っており,他の根拠による加点と合わせた結果,“Toronto”の確信度が“Chicago”のそれを上回ってしまったのである。実際にはこのような柔軟なアプローチを取っているからこそ,全体の正解率を上げることに成功している。

表2 Watsonが正答できなかった問題の例
3 カテゴリ:US Cities(米国の都市)
質問文:Its largest airport was named for a World War II hero; its second largest, for a World War II battle.
(この都市の最大の空港は第二次大戦の英雄の名が,2番目の空港は戦いの名前が付けられている)
正しい答え:Chicago(シカゴ)

Watsonは質問文が短い問題が苦手であった。映画のタイトルが質問文となって,その監督兼俳優の名前を答えさせる問題を,Watsonは5問とも答えられなかった。解答を導くことはできたものの,速度が人間に追いつかなかったのである。一方で,人間は映画のタイトルを聞いただけで「それについて知っている」ことが瞬時にわかり,ボタンを押す。このような直感は人間ならではのものである。

逆に,Watsonは難易度が高い問題で圧倒的な強さを示した。2,000ドルという最も高い配点の問題は,深い知識が要求される傾向にあるが,12問のうち10問をWatsonが正答した。知識の記憶に関してはコンピューターのほうが有利であることを考えると,この結果は予想通りといえる。

以上のように,Watsonが人間のチャンピオンを超える実力を示したとはいえ,人間が持つ能力とは質的に大きく異なっている。Watsonは質問文を必ずしも「理解」することなく,正答は誤答よりも問題文との親和性が高いという性質を用いて,複数の仮説を相対的に比較して正答を浮き上がらせている。

直感を持ち,微妙な文脈が読める人間と,膨大な記憶力と高速な並列処理能力を持つコンピューターは,互いに補完的な関係にある。解くべき問題と参照可能な情報に応じて,人間が考えるべきこととコンピューターの支援を求める局面とを切り分ければ,知りたい事実を的確に得ることが容易になっていくだろう。

4. テキストマイニング TAKMI

「テキストマイニング」の定義はさまざまであるが,大量の文書の中から内容の相関や傾向を分析する技術4),利用者が一連のツールを利用して文書集合を対話的に分析する技術5)といった見方が本稿の考え方に沿う。IBM東京基礎研究所では,TAKMI(Text Analysis and Knowledge Miningの略)の名で,有用な知識を発見する操作を補助するためのツールを中心に,テキストマイニングの方法論を提唱してきた。TAKMIの名称にも現れている通り,大きな鉱山から鉱脈を頼りに金を採掘するかのように,大量のテキストから手がかりを見つけて知識(knowledge)を発見する「ナレッジマイニング」が本質であると考えるとわかりやすい。

ビジネスの場でテキストマイニングが効果を発揮するのは,人手では読みきれないほどの大量のテキストデータをもとにした意思決定が期待される局面である。例えば,顧客から集めたアンケートやコールセンターのログ,Web上のブログやフォーラムなどのテキスト情報から,製品やサービスに関する要望を把握したり,特定の製品や時期に特有の問題点を早期に発見したりした上で,それらの対応策を実施するといった形で,企業活動において重要な判断と行動を,適切に,高速に,根拠を持って行うことができるようになる。

テキストマイニングには図4に示すような2つの要素がある。1つは非構造データを構造化する処理,もう1つが対話的なマイニング操作である。これらはちょうど,冒頭に挙げた2つの定義に対応する。以下でこれらについて順に解説する。

図4 テキストマイニングの2つの要素

4.1 非構造データの構造化(前処理)

構造化データ(定型情報)とは,氏名,年齢,住所,商品の購買履歴のように,それらの意味するところが明確で,曖昧性を持たないデータを指す。例えば,年齢と購買履歴の関連などは統計情報として容易に取り出すことができる。一方,非構造データ(非定形情報)とは,自然言語で書かれた文(データとしては単なる文字列)のように,実世界の現象や事物と結びつけるために何らかの解釈を要するデータを指す。

曖昧性や誤りをも含むテキストの情報を,自然言語処理の技術を用いて構造化データに近づけることを,非構造データの構造化,またはテキストマイニングの前処理と呼ぶ。このように,テキストから構造化データを抽出することにより,相関などを計算するデータマイニングの手法に帰着させることができる。

最も基本的な処理は,文書から単語を取り出すことであり,日本語の場合は形態素解析の技術が使われる。これだけでも,特定の文書集合(例えば20代女性のある商品に対する感想)の中に含まれる形容詞としてどのようなものが顕著であるか,といった知識を発見できるようになる。

単語だけでなく,語と語の連関,例えば「パンを食べる」といった行動を示すフレーズや,「○○が好きではない」といった評価を表す表現など,テキスト中で何らかの意味を持ったかたまりを取り出す処理,すなわち自然言語処理の要素技術の多くが,この前処理に寄与する。特定分野のテキストを分析する準備として,どのような観点の意味情報を構造化しておくと相関の発見に役立つかといった着眼点や,分野に特化した辞書の整備には,人間が持つ業務知識が求められる。

4.2 対話的なマイニング操作

前節の方法により,一通りのテキスト情報を,程度の差こそあれ構造化データに落とし込むことができれば,知識の発見の準備が整ったといえる。ここで,対話的な処理ができるTAKMIのインターフェースを用いて,PCのヘルプセンターに寄せられた質問や苦情約30万件から知識を発見する操作の実例を見てみよう。

新たな知識は,データの分布の偏りや,時系列の動きの中に見つかることが多い。図5の左側の画面は,問い合わせの件数の増減を機種別にグラフ化したものである。ここで,直近で件数が増加している機種について何が起こっているかを知るために,30万件のデータを,この機種「E47」に関する問い合わせ2,020件に絞り込んで調べてみることにする。

図5 TAKMIの対話的処理の例

5の右側は,該当する機種の問い合わせのテキストから抽出された,名詞と用言の「係り受け」を頻度順にソートした結果である。機種E47で最も多い係り受け構造「電源(を)⋯切る」は,40件見つかった。しかし,このように機種を問わず頻出するような表現よりも重要なのは,注目している機種に関する問い合わせの中で特に多く述べられている表現である。

それを示す値が「相関値」である。右の列で相関値が高いものとして,「機械番号(を)⋯入力する」「機械番号(が)⋯入る」という表現が見つかる。簡単に言うと,E47においてはこれらの係り受け構造が全機種と比べてそれぞれ35倍,29倍も頻繁に現れることを示している。該当する表現が含まれる元の文を読んでみると,機種E47のオンラインユーザー登録の際に機械番号がうまく入力できないという問い合わせが多く,どうやら機械番号の隣に紛らわしい別の番号が書かれていることがその原因とわかった。この事実をもとに,Webページ上にFAQを掲載するか,紛らわしい番号を製品に書かないようにするというアクションを取れる。これによって,問い合わせの件数を減らしてコールセンターのコスト削減ができる上,利用者の満足度を向上させることが期待できる。

このように,TAKMIは,大量のテキストデータから,知識発見の出発点を提供し,分布の偏りの大きさを可視化して何らかの兆候を提示し,その原因を元のテキストを参照しながら調べることができるようなツールとなっており,その裏側には,前処理のための自然言語処理技術,局面に応じてチューニングを行う機能,高速な検索を可能とするインデックスなどの技術がある。知識が発見できた時には,ビジネス上重要な対応策を講じることにより,その価値は大きなものとなる。すなわち,単なる仮説検証のためにレポートが全自動で出力されることより,人間の操作を介在させて,本質的に価値がある判断につなげることを重視している。現在はIBMのテキストマイニング製品IBM Content Analytics注7)として,ビジネスのさまざまな局面において有効に活用されている。

4.3 評価表現抽出と語彙知識の獲得

テキストマイニングは,さらに意味に踏み込むことによって高度化される。テキスト中から好評や不評の表現を検出する「評価表現抽出」は,製品やサービスに対する人々の声を把握する際に重要な技術である。「好きだ」「素晴らしい」は好評,「悪い」「汚れる」は不評,という単語レベルの分析でも一定の傾向をつかめるが,「素晴らしいパンが食べたい」は好評を表さず,「悪くありません」は不評が反転して好評を表すなどといった構文構造を考慮すれば,より精緻な分析が可能になる。

評価表現抽出で興味深いのが,分野別の語彙である。カメラの評判で「持ってみると重さをずいぶん感じてしまう」というのは不評を表し,映画に対するコメントで「ラストシーンはかなり泣ける」は好評を表す。これらをとらえるためには,「重さを⋯感じる」「泣ける」といった語彙を分野別に整備する必要が生じ,人手によるコストがかかる。そこで,われわれは「極性の文脈一貫性」という性質に着目し,これを省力化する手法を開発した6)

分野に依らない「満足する(好評)」「がっかりする(不評)」といった語彙は既知だとする。この時,カメラの分野で「紫色がくっきりしていて,満足しています」や,映画の分野で「導入部が長すぎる。見ていてがっかりした」というコメントがあったとする。そこで好評や不評の語句は並べて述べられるという性質を用いれば,「くっきりする」がカメラの好評,「導入部が長い」が映画の不評を表すことが推定される。この性質は常に成り立つわけではないので,文脈情報をもとに新たな評価表現の候補を抽出し,統計的検定により好評・不評の偏りが一定以上のものを判定し,新たな語彙として登録する。

2つの分野の約20万の発言から,それぞれ400~700個のこうした語彙が自動的に獲得された。表3の例のように,両分野において特有の語句が現れている。特に,デジタルカメラ分野の「ケラレが⋯ない」など,専門用語を含む語句も獲得できている。これらの辞書を用いて新たに同定される極性は,91.5%~96.5%の正解率を持つと測定された。

表3 自動的に獲得された評価表現の例
分野 好評 不評
デジタルカメラ 明るい
ケラレが⋯ない
重さを⋯感じる
修理代が⋯高い
映画 緊張感が⋯ある
色っぽい
導入部が⋯長い
興味が⋯半減する

このプロセスの流れを図6に示す。まず,人手で汎用分野の辞書を作る。次に特定の分野の大量のコーパスから評価表現の同定を自動的に行う。文脈の性質から新たな評価表現の候補が得られ,統計値から分野辞書に加えるべきものが判定される。パラメータの最適化をはじめとした機械学習と異なり,この手法によって出力される情報は人間にとって解読可能で,専門語を発見したり,時代とともに変化する人々の嗜好を把握したり注8)するように,コンピューターだけでなく人間にとっても使える知識となる。

図6 評価表現抽出の知のループ

さらに,辞書に加えるかどうかを人手で判定することによって誤りを減らすことができる。こうして獲得した分野別の辞書を用いて再度評価表現の同定を行って分析を行うことにより,テキストマイニングと同様に新たな傾向を調べられる。このように,大量のテキスト情報と言語的な性質を用いて,人間とコンピューターの間で知識を螺旋状に増加・深化させる「知のループ」が形成できるのである。

5. 人間とコンピューターの得意分野

ここまで見てきたWatsonやテキストマイニングの事例,そして自然言語処理技術の流れから,人間とコンピューターのそれぞれが得意なことが何かをまとめてみよう。

人間が得意なこと

  • •   1つの文の意味を深く理解すること
  • •   直感を働かせること
  • •   実世界に影響を与える意思決定や行動をすること

コンピューターが得意なこと

  • •   大量のデータを記憶,処理すること
  • •   客観的かつ高速に処理をすること
  • •   数値的な偏りを計算すること

クイズ番組でのWatsonの振る舞いを見ると,一見「質問文を深く理解して」「直感的に(高速に)」「(クイズの答えという)意思決定をしている」かのように見えてしまうが,技術の内容を理解すれば,あくまでもコンピューターが得意な処理に支えられていることがわかる。そして,その技術はテキストマイニングの前処理と驚くほど共通している。

産業界において機械化によるコストダウンが実現し,徐々に人間の必要性が失われていくと思われがちであるが,テキストマイニングの事例を見れば,人間にしかできない判断を情報とコンピューターの能力が補助している図式が見える。本誌2012年10月号の記事の中で西田氏が,今後の人工知能技術には,人間にとって共感できるものが求められていくと述べていた7)ように,コンピューターと人間との協業がますます重要になってくるだろう。その見方に従って,技術を使う側と作る側の今後の観点をまとめてみる。

まず,技術を使う側が考えるべきなのは,コンピューターがすべてを考えてくれるわけではなく,結局は人間にしか判断できないことがたくさんあることを理解し,より創造的なことを考えていく努力を絶やさないことである。日常生活で使っている技術の中身を少しでも理解して,コンピューターに一方的に使われることなく,ともに成長していくようでありたい。

技術を作る側では,ここ十数年の自然言語処理の技術の進歩によって,人間が構築した文法知識をコンピューター上で整理するという段階が終わり,大量のデータをもとに統計的な出力をするという流れにある。次は,量に頼って質を諦めてきた部分を補うべく,人間の知識を取り入れながら,深い方向に進んでいくと考えられる。今後ますます増大するデータと進化するコンピューターの計算処理能力を活かして,世の中に驚きを与える技術,または空気のように自然だが必須の技術が生まれていく。今後に期待していただきたい。

本文の注
注1)  有名な例として,「黒い瞳のかわいい女の子」「She saw a man with a telescope.」などがある。

注2)  「長崎さんが山口に行った」の「長崎」「山口」が人名か地名か,などを解決するのは重要である。

注3)  例えば,“bank”が銀行か堤防かを前後の文脈から推定する処理。

注4)  注意すべきことは,質問文はテキストファイルとして入力されるため,Watsonは音声認識をしているわけではない。番組において,司会者が質問文を読み始めると同時に全文が画面に表示されるため,同じタイミングで質問文がWatsonに渡されていても,画面を見ることができる人間と同じ条件で問題を解いているといえる。

注5)  イタリア語の方言なので,質問文の中のキーワードとの関連から候補に挙がるが,セム語系言語ではない。

注6)  ゲームの最後の問題なので,早押し形式ではなく全員が筆記形式で解答した。

注7)  http://www-06.ibm.com/software/jp/data/search/textmining.html

注8)  近年は「ビールは苦くないほうがよい」という意見が増えるなど。

参考文献
 
© 2013 Japan Science and Technology Agency
feedback
Top