J-STAGE トップ  >  資料トップ  > 全文HTML

情報管理
Vol. 60 (2017) No. 8 p. 543-554

記事言語:

http://doi.org/10.1241/johokanri.60.543

記事

ビッグデータ×機械学習の展望:最先端の技術的チャレンジと広がる応用

著者抄録

機械学習技術を用いることで,過去の事例・観測データからの学習に基づく,モノやコトの判別・分類,予測,異常検知等の知的な判断をコンピューターで実現可能になる。ビッグデータの活用と相まって,さまざまな問題解決に機械学習技術の適用が広がっている。本稿では,問題解決への適用という視点から重要と考える技術的チャレンジの方向性として,(1)学習結果の解釈性の確保,(2)機械学習から意思決定まで通した解法の実現,(3)深層学習の高速化・高効率化,(4)機械学習型システム開発方法論の確立,という4点について述べる。

1. はじめに

第3次AIブームといわれる昨今,AI(人工知能:Artificial Intelligence)に関する話題が新聞・テレビ・ネット等のメディアで取り上げられない日がないほどである。この第3次AIブームを牽引(けんいん)しているのは機械学習(machine learning)技術の進化だといわれる1)。機械学習は,データの背後に潜む規則性や特異性を発見することにより,人間と同程度あるいはそれ以上の学習能力をコンピューターで実現しようとする技術である。これを用いると,過去の事例・観測データからの学習に基づく,モノやコトの判別・分類,予測,異常検知等の知的な判断をコンピューターで実現可能になる(1)。

第2次AIブーム(1980年代)のときには,人手で記述したルールによって,人間が行うような知的な判断をコンピューターで再現しようというアプローチが盛んに試みられた。しかし,人手によるルール記述は,規模拡大・品質維持等に限界があり,適用される場面がなかなか広がらなかった。それに対して,機械学習のアプローチをとることで,事例に基づいて観測データから帰納的にルールを獲得していけるようになり,人手によるルール記述の限界を超えることが可能になった。

このようなアプローチが有効になった背景には,ビッグデータ(big data)が利用可能になったことがある。つまり,ネット上のさまざまなサービスや実世界に配置されたさまざまなセンサーから大量データが集まるようになり,また,コンピューター性能の向上によって大量データの高速処理が可能になったことが,機械学習技術の進化に結びついた。

現在,機械学習技術の応用は,ビッグデータの活用と相まって,幅広い分野に広がっている。たとえば,画像認識,音声認識,医療診断,文書分類,スパムメール検出,広告配信,商品推薦,囲碁・将棋等のゲームソフト,商品・電力等の需要予測,与信,不正行為の検知,設備・部品の劣化診断,ロボット制御,車の自動運転等が挙げられる。ブームといわれること自体には終わりが来るとしても,機械学習技術が,さまざまな問題解決に有効な手段として,社会にいっそう普及・浸透していくことは間違いない。

本稿では,機械学習技術がさまざまな問題解決に適用されていくうえで,特に重要な技術的チャレンジの方向性を,取り組み事例とともに紹介する。機械学習のアルゴリズムとしてさまざまなものが提案・実装されているが,特に現在のAIブームの中心にあるのは深層学習(deep learning)2)である。以下では,まず深層学習の適用からみえてきた技術課題を踏まえたうえで,技術的チャレンジの方向性を論じる。


View Details
図1 機械学習技術

2. 深層学習のインパクトと技術課題

深層学習は最先端の研究開発に精力的な取り組みが続けられ,新しい技術的知見が論文として次々に発表される一方,オープンソースソフトウェア(Open Source Software: OSS)の形でアルゴリズムが公開・アップデートされている注1)。また,企業等がデータや問題をネット上で公開して世界中の多くの人々に解かせる場注2)も生まれ,今日,さまざまなデータ分析問題において解法・精度が広く競われるようになっている。

ここでは,いま深層学習が注目される理由やそのインパクトを説明するとともに,さまざまな問題解決への適用が進む中でしばしば指摘される4つの技術課題について述べる。

2.1 深層学習のインパクト

深層学習は多層ニューラルネットワーク(Deep Neural Network: DNN)を用いた機械学習手法である。実際には深さだけでなく幅も広く,従来のニューラルネットワークでは,幅が数百ノード,深さが3~5層程度だったのに対して,深層学習で使われるもの(2)は,幅が数百万ノード,深さは数百層に達するものもある。脳神経回路の構造をヒントにしており,各ノードで重み付き入力に対する出力計算を行いながら,その結果を伝播(でんぱ)していくことで,入力層に対する最終的な出力層の結果を得る。入力層と出力層のペアに対して教師データを与え(たとえば,動物の写真を入力,その動物名を出力として与える等),実際の出力と教師出力との差分を減らすように,反復計算によって各ノードの重みを変化させる誤差逆伝播法(Backpropagation)3)等の手法によって学習が実現される。なお,深層学習で用いるDNNとして,2には各層が直列につながったシンプルな構造を例示したが,畳み込み・分岐・迂回(うかい)路・再帰・メモリー等を含む複雑な構造のものも用いられるようになっている。

深層学習の基になるアイデアは1980年頃に示されていたが4),これほど多層のDNNで有効に動作するようになるまでには,コンピューター性能の向上,アルゴリズムの改良5)6),学習に十分な量のデータ確保等が積み上げられねばならなかった。その成果が衝撃をもって広く認知されたのは,2012年のILSVRC(ImageNet Large Scale Visual Recognition Challenge,http://www.image-net.org/challenges/LSVRC/)であった。ILSVRCは,ImageNetという大規模画像データセットを用いて毎年開催されている一般物体認識のベンチマークテストである(3)。2012年,トロント大学のGeoffrey Hinton教授らが深層学習を用いてトップを獲得した。しかも,従来手法がエラー率26%だったのに対して,Hinton教授らはエラー率17%と,深層学習の適用によって一気に10%近くもの飛躍的精度向上を達成した。ILSVRCでは,その後も深層学習による精度向上が続き,2017年にはエラー率が2%近くに達し,人間の認識精度(5%程度といわれる)を大きく上回るようになった。

機械学習を用いる際には通常,(1)データのどのような特徴に着目するかを決定(特徴抽出),(2)その特徴を軸とした空間(特徴空間)にデータを配置して規則性(データ分布にフィットするモデル,識別境界面等)を発見,という処理ステップを踏む。従来は,機械学習によって(2)を自動化するものの,(1)は人手で決めることが多かった(4A)。これに対して,深層学習の場合は,(1)(2)を通して自動化している(4B)。従来も(1)の自動化あるいは(1)(2)を通した自動化の研究はあったが,深層学習によって初めて,(1)を人手で行うAよりも,(1)(2)を通して自動化したBの方が高い精度を得られることが示された。

深層学習は,画像データだけでなく,音声データ,テキストデータ,センサーデータ等の入力に対しても,(1)(2)を通したEnd-to-Endの学習をさせることが可能である。画像認識の他,音声認識,自然言語解析,センサーデータ解析,および,それらを複合したマルチモーダル解析等へ応用が広がっている。さらに,認識・解析の逆過程である生成にも深層学習は適用可能で,画像の生成・変換への応用も盛んに行われている(テキストからの画像生成,画像の高解像度化,自動着色等)。


View Details
図2 多層ニューラルネットワーク


View Details
図3 一般物体認識


View Details
図4 機械学習を用いた処理ステップの自動化範囲

2.2 深層学習の技術課題

深層学習が機械学習の主流になり,応用を広げる中で,リアルな問題解決という面からみたときの技術課題を指摘されるようになった。特に重要と考えるものとして,以下の4点を挙げる。

(1) ブラックボックス問題

深層学習を含むニューラルネットワーク系の機械学習はブラックボックス型である。学習結果はノードの重みに反映され,得られた規則性・モデルは人間が直接理解できる形では示されない。つまり判別・分類,予測,異常検知の結果について理由を説明することができないのである。

産業応用において通常は,機械学習を用いるデータ分析担当者と,分析結果を利用する意思決定者が異なり,データ分析担当者は予測結果や根拠に関して意思決定者に説明することを要求される。また,医療のように人命・健康に関わるシーンでは,機械学習で導かれた結果と医学的な所見との整合性を確認でき,正しい判断の下で利用できることが求められる。さらに,公的機関での利用においては,機械学習から得られたルール・モデルが,人種・性別等によって不平等が生じないものであることを担保しなくてはならない。このような社会的要請から,transparency(透明性)やaccountability(説明責任)がAI開発ガイドラインにおける重要な要件として論じられるようになってきた7)8)

しかし,ブラックボックス型の機械学習では,この要請・要件に応えることが難しい注3)

(2) 機械学習から意思決定までのギャップ

機械学習による判別・分類,予測,異常検知は,それだけでは必ずしもリアルの問題を解決するまでに至らないことも多い。たとえば,スパムメールフィルターという応用シーンならば,メールがスパムか否かを判別すればそれで問題解決になるが,機器の劣化検知や資源の需要予測といった応用シーンでは,検知された劣化にどう対処するか,予測された需要に対して資源供給をどのようにコントロールするかというアクションまで決定しないと問題解決にならない。機械学習で得られた結果に基づいてどのように意思決定するかまで踏み込んだ解法が求められる。

これは深層学習に限らず機械学習を用いたデータ分析全般にいわれることである。Gartnerによると,データ分析には,(1)記述的分析,(2)診断的分析,(3)予測的分析,(4)処方的分析という4段階がある9)5)。(1)~(3)はたとえば「過去5年の交通事故にはどのような傾向がみられるか」「どのような契約者が解約したのか,解約の理由は何か」「明日の販売数はどのくらいか」といった問いに答えるものだが,(4)は「リスクを減らすためには誰にどのようなトレーニングを受けさせるべきか」「顧客離反を防ぐためにはどのような顧客層に対してどのような働きかけを行うべきか」「生産の過不足を最小にするためには今どれだけ生産すべきか」といった問いに答えるものである。まさに意思決定に踏み込んだ解法が求められている。


View Details
図5 データ分析の4段階

(3) 学習に必要なデータ量・計算パワーの増大

深層学習は,数百層にも及ぶDNNを用い,構造に関わるパラメーター数も多いため,過学習になりやすい性質がある。過学習とは,学習用データに過剰に適合してしまい,汎化ができておらず,未知データでは高い精度が得られない状態をいう。過学習を抑えて高い精度を得るには大量の学習用データが必要だが注4),実際の応用において大量の学習用データを集めることは必ずしも容易なことではない。

また,大規模なDNNに学習用データを大量投入して,学習処理を実行するには長時間を要する注5)。ネットワーク構造の多層化・複雑化の傾向もあり,学習にかかる時間は増加の一途をたどっている。

(4) 分析プロセス設計の難しさ

深層学習はなぜ高い精度が得られるのか,その理論的解明ができていない。高い精度を得るためのDNNの構造設計や学習のさせ方等は,ノウハウや経験則の積み上げによっており,深層学習の使いこなしは依然として難しい。

また,機械学習技術の適用(深層学習に限らない)では通常,手法・モデルの選択,特徴量やパラメーターの決定,学習のさせ方等について,データ分析者が仮説を立てて試すという試行錯誤が繰り返される。このような業務には数か月を要することも珍しくなく,また,数学・統計数理の専門知識も必要である。

3. 最先端の技術的チャレンジ

2章2節では現在の深層学習が抱える4つの技術課題を挙げたが,ここではそれらを解決するための技術的チャレンジのアプローチや事例を紹介する。これらは深層学習の改良とは限らず,異なる手法による解決策も含む。社会におけるリアルな問題解決に大きく貢献するために重要な機械学習技術の研究開発の方向性と考えている。

3.1 学習結果の解釈性の確保

2章2節(1)に示したブラックボックス問題に対して,2016年8月,米国国防高等研究計画局(Defense Advanced Research Projects Agency: DARPA)は,説明可能AI(Explainable Artificial Intelligence: XAI)10)への投資プログラムを発表した。この計画の中では機械学習技術には精度と解釈性のトレードオフがあり,その両立に向けた研究開発が求められると述べている。

ここでは,精度と解釈性の両立に向けた取り組みとして,2通りのアプローチを紹介する。

1つ目のアプローチは,深層学習のような精度の高いブラックボックス型の手法に,解釈性を与えようとするものである(6A)。たとえば,学習済みのニューラルネットワークについて,それが入力のどのようなパターンに反応するかを調べ,その結果から逆に何に着目しているかを推定しようとする試み等がある。7の例では,画像を「野球」だと認識した理由を「選手がバットを握っている」からだと説明している11)

もう一つのアプローチは,決定木や線形回帰のような解釈性を備えたホワイトボックス型の考え方を発展させて,高い精度を実現しようとするものである(6B),NECの異種混合学習(因子化漸近ベイズ推論)12)はこのアプローチによって高い精度と解釈性を両立させうることを示した。対象データを特徴量(説明変数)の線形和のような単純な形式で表現できるならば解釈性は高い。しかし,複雑な振る舞いをする対象データを単純な形式で表現すると,近似が粗くなって精度が悪くなる。そこで,対象データをいくつかに分割し,それぞれについては単純な形式でよく当てはまるようにしてやれば,高い精度と解釈性を両立させうる(8)。異種混合学習はこの方針で,最適なデータ分割の仕方と各分割データへの当てはめを自動算出する。

また,深層学習についていえば,前述のとおり,そもそもなぜ高い精度が得られるのか,その理論的解明ができていない。深層学習は非凸最適化学習手法であることが知られており,理論的解明が進んでいる凸最適化学習の理論が適用できない。ブラックボックス問題に対して,基礎的な理論的解明への取り組みも重要である。


View Details
図6 機械学習技術の精度と解釈性


View Details
図7 深層画像の理由説明の試み


View Details
図8 異種混合学習における精度と解釈性の両立

3.2 機械学習から意思決定まで通した解法の実現

2章2節(2)で述べた機械学習から意思決定までのギャップ問題に対して,機械学習から意思決定まで通した解法が研究開発されている。主に以下のような3タイプのアプローチで取り組まれている。

3.2.1 深層強化学習

強化学習(reinforcement learning)(9)は,学習主体が,ある状態で,ある行動を実行すると,ある報酬が得られるタイプの問題を扱う機械学習アルゴリズムである。将来的により多くの報酬が得られるように行動を選択する意思決定方策を,行動選択と報酬の受け取りを重ねながら学習していく。この強化学習では,ある状態で,ある行動を選択することの良さを表す価値関数を求める必要があるが,この価値関数や方策を深層学習によって学習するのが深層強化学習1)13)である。

Google DeepMind は深層強化学習を用いて,「Atari 2600」ゲーム注6)のプレー方法をほぼゼロから学習して人間よりも高いスコアを出したり,囲碁で世界トッププロに勝利したり(AlphaGo)と注目を浴びた14)。また,Preferred NetworksはCES 2016(消費者向けエレクトロニクス展示会,ラスベガスで開催)で「ぶつからない車」(10),CEATEC JAPAN 2016(CPS/IoT展示会,幕張メッセで開催)でドローン制御等のデモンストレーションを展示し,ロボット等の制御への適用・実用化を進めている13)15)

このアプローチは,大量の事例を容易に集められる問題,あるいは,AlphaGoがコンピューター同士の対戦を繰り返して学習したようにシミュレーションで大量事例を生成できる類いの問題に適している。たとえば,ゲーム,広告,検索,アルゴリズムトレード等が挙げられる。


View Details
図9 強化学習


View Details
図10 ぶつからない車

3.2.2 機械学習に基づく予測型意思決定最適化

深層強化学習が適するのは,大量の事例が集められる/作れるタイプの問題,つまり,意思決定を繰り返し試すことが容易なタイプの問題である。一方,古典的なオペレーションズリサーチ(Operations Research: OR)で扱われているようなタイプの意思決定問題は,意思決定で失敗したときのダメージが大きく,意思決定を繰り返し試すことは難しい。たとえば,小売業における商品価格設定の戦略策定や,上水道システムにおける配水制御計画等の数理最適化問題がこれに該当する。

古典的なOR問題では,データが静的であることを仮定してきたが,機械学習によって大量の予測(外れる可能性もある不確かな情報)を動的に生成することができるようになり,機械学習からの大量出力に基づくOR問題ととらえることで新たな発展が生まれている。この具体的な取り組みとして,NECの異種混合学習12)による大量の予測器生成に基づく予測型意思決定最適化16)という,機械学習-ORパイプラインのフレームワークがあり,前述の商品価格設定戦略や配水制御計画等に適用されている。たとえば配水制御計画への適用事例では,利用者側の水需要をきめ細かく動的に予測し,ポンプ運転を最適に制御する計画を自動生成することで,ポンプ運転の電力コストを最大2割削減できるとしている。

3.2.3 言語・知識処理と機械学習の融合

言語・知識処理と機械学習の融合の事例として,IBM Watson質問応答システム17)やGoogleのメール返信文の自動生成機能Smart Reply18)等が挙げられる。大量の自然言語文を知識として蓄積し,そこから検索・再構成・評価等をすることで,意思決定の選択肢を生成するアプローチである。自然言語の解析をベースとしつつ,その中での候補の評価等に機械学習を組み合わせている。

なお,3章2節13項で述べたような意思決定のための技術は2通りの使い方がある。5中の(4)処方的分析のところにも示されているが,(a)意思決定支援と(b)自動意思決定という2通りである。(a)はコンピューターがアクションの選択肢を出すが,そのどれを選択するかという意思決定は最終的に人間が行う形である。一方,(b)はコンピューターが意思決定からアクションの実行制御まですべて自動で行う形である。どちらの形で実現するかは,問題のタイプによる。平常時の装置の最適オペレーションのケースや高速な実行制御が求められるケース等には(b)の方が適し,人間の命に関わるようなケースや意思決定者の意向や嗜好(しこう)を盛り込むことが求められるケースには(a)の方が適すると考えられる。

3.3 深層学習の高速化・高効率化

2章2節(3)で述べた深層学習が大量データと計算パワーを必要とする問題に対しては,処理の高速化,計算の効率化が,ハードウェアとアルゴリズムの両面から進められている。

まずハードウェア面では,NVIDIA社がグラフィックス処理プロセッサー(Graphics Processing Unit: GPU)を応用し,深層学習を高速に行えるGPUを開発している19)。Google は Tensor Processing Unit(TPU)と呼ばれる深層学習に適したプロセッサーを開発し,GPUと比べて消費電力性能当たり10倍の処理(主に学習結果を用いた推論処理)が行えると発表した20)。これらの新しいハードウェアでは,従来のように浮動小数点計算を倍精度で行わず,単精度や半精度で行うことによって高速な学習を実現している。

一方,アルゴリズム面の改良として,深層残差ネットワーク(Deep Residual Network: ResNet)21)が挙げられる。ResNetは迂回路のあるネットワーク構造により,階層を深くしても効率よく学習が行えることが特長である。MSRA(Microsoft Research Asia)がResNetを用い,従来の8倍程度の深さである152もの層をもった構造でILSVRC2015において圧勝したことで注目された。

また,2章2節(3)で述べたように,精度を高めるのに十分な大量の学習用データを集めることは必ずしも容易ではない。この問題に対しては,クラウドソーシングによる正解ラベル付け等の人件費削減,精度改善に有効な一部のデータだけに効率よく正解ラベル付けする能動学習,一部のラベルありデータを手掛かりにラベルなしデータも学習させる半教師あり学習,大量の類似データ自体や類似データでの学習結果を活用する転移学習やドメイン適応,クラス別サンプル数のインバランスを考慮した学習,物理シミュレーションによるデータ生成等,さまざまな手法が検討されている。

3.4 機械学習型システム開発方法論の確立

2章2節(4)で指摘した分析プロセス設計の難しさに対する直接的改善の試みには,機械学習技術の発展・拡張による分析プロセス設計の自動化がある。究極的にはデータと目的を与えると,自動的に最適な分析手法・手順を決定して結果が出てくることを目指す。まだ目的・手法・規模等に限定はあるものの,いくつかの試みが始まっている。ニューラルネット構造設計に関しては,三菱電機がAiS(Add-if-Silent)方式を用いた中間層の自動生成技術を発表した22)。また,NECは,リレーショナルデータベースからの特徴量設計,目的に応じた分析手法(予測モデル)の選択・組み合わせを自動実行する予測分析自動化技術を発表した23)

一方,これからますます機械学習技術がさまざまなシステムに組み込まれていくが,それはシステム開発方法にパラダイムシフトをもたらすに違いない(11)。過去,システム開発のパラダイムは,Wired Logic(ワイヤード・ロジック:物理的な結線で組まれたハードウェア論理回路)からSoftware-defined(ソフトウェア・デファインド:ソフトウェアによる定義)へと主流が移行してきた。Software-definedシステムはプログラムコードを書くことでシステムの動作を定義したが,機械学習技術に基づくシステムは大量データを学習させることで,システムの動作を帰納的に定義する24)。ここでは,それを仮にBigdata-definedシステム開発と呼ぶ。システムの要件定義や動作・品質保証の考え方,Software-definedとの境界最適化,データ収集・投入効率を含む「学習工場」1)としてのオペレーション最適化等,新しい方法論の確立・整備が求められる。


View Details
図11 システム開発のパラダイムシフト(イメージ図)

4. おわりに

機械学習技術をさまざまな問題解決へ適用していくうえでの重要性という視点から,技術的チャレンジの方向性として,(1)学習結果の解釈性の確保,(2)機械学習から意思決定まで通した解法の実現,(3)深層学習の高速化・高効率化,(4)機械学習型システム開発方法論の確立,という4点について述べた。

本稿は技術面にフォーカスしたが,制度・政策面の課題への取り組みも重要である。特に,機械学習で扱うデータや学習結果(学習済みモデル)等に関わる知的財産権の扱い25)26)やプライバシー問題は,産業応用における重要課題であり,法制度やガイドラインの整備が早急に望まれる。さらに,機械学習技術によるさまざまな問題解決や新しい方法論に基づくシステム開発を担う人材育成も重要であることはいうまでもない。

なお,本稿は科学技術振興機構 研究開発戦略センター(CRDS)で発行する「研究開発の俯瞰(ふかん)報告書 システム・情報科学技術分野(2017年)」27)の「3. 3. 2 機械学習技術(p. 210~219)」に書いた内容を拡充・アップデートした。制度・政策面の課題をはじめ,より広いトピックについては上記俯瞰報告書を参照していただきたい。

執筆者略歴

  • 福島 俊一(ふくしま としかず) toshikazu.fukushima@jst.go.jp

1982年東京大学理学部物理学科卒業,NEC入社。以来,中央研究所にて自然言語処理・サーチエンジン等の研究開発・事業化および人工知能・ビッグデータ研究開発戦略を担当。工学博士。2005~2009年NEC中国研究院副院長。2011~2013年東京大学大学院 情報理工学研究科客員教授(兼任)。2016年4月から科学技術振興機構 研究開発戦略センターフェロー。1992年情報処理学会論文賞,1997年坂井記念特別賞,2003年オーム技術賞等を受賞。

  • 藤巻 遼平(ふじまき りょうへい) rfujimaki@nec-labs.com

2006年東京大学工学系研究科修士課程修了。同年NEC入社,中央研究所配属。2011年よりNEC北米オフィス勤務。現在,NECデータサイエンス研究所主席研究員。博士(工学)。機械学習・データマイニング・数理最適化の研究開発およびビッグデータに基づく予測・高度分析と産業応用・事業化に従事。2006年東京大学工学系研究科長賞(研究最優秀),2015年先端技術大賞フジサンケイビジネスアイ賞,2009年人工知能学会論文賞,2016年人工知能学会創立30周年記念論文賞(優秀論文)等を受賞。

  • 岡野原 大輔(おかのはら だいすけ) pfn-info@preferred.jp

2010年東京大学大学院 情報理工学系研究科博士課程修了。2006年株式会社 Preferred Infrastructureを共同創業,2014年株式会社Preferred Networksを共同創業,取締役副社長。博士(情報理工学)。機械学習・深層学習,自然言語処理等の研究開発・事業開発に従事。2005年情報処理振興事業協会(IPA)未踏ソフト創造事業スーパークリエータ認定。2006,2007年NLP若手の会シンポジウム最優秀発表賞,2007年東京大学総長賞,2009年情報処理学会山下記念研究賞等を受賞。

  • 杉山 将(すぎやま まさし) sugi@k.u-tokyo.ac.jp

2001年東京工業大学大学院 情報理工学研究科博士課程修了。同大学助手・准教授を経て,2014年より東京大学大学院 新領域創成科学研究科教授。2016年より理化学研究所革新知能統合研究センター長を併任。機械学習とデータマイニングの理論研究とアルゴリズムの開発,および,その信号処理,画像処理,ロボット制御等への応用研究に従事。博士(工学)。2007年IBM Faculty Award,2011年情報処理学会長尾真記念特別賞,2014年度科学技術分野の文部科学大臣表彰若手科学者賞,2016年度日本学術振興会賞および日本学士院学術奨励賞等を受賞。

本文の注

注1)  OSSの形で提供されている深層学習のフレームワークとして,Torch(Facebook等),TensorFlow(Google),Chainer(Preferred Networks),MXNet(CMU,Amazon)等がよく知られている。

注2)  海外ではKaggle(https://www.kaggle.com/),国内ではDeepAnalytics(https://deepanalytics.jp/)がよく知られている。

注3)  解釈性はどこまで求められるのかという議論もある。そもそも人間の行動・意思決定が必ずしもホワイトボックスではない。人間とAIの共存において必要なのは,解釈性よりも,むしろ信用(trust)だという意見や,深層学習はEnd-to-Endのブラックボックス学習だからこそ,暗黙知の学習に適するという意見もある。

注4)  深層学習の学習用データ量に関する目安として,2016年時点で教師あり深層学習について,カテゴリーごとに約5,000ラベル付き事例で許容できる性能が得られ,少なくとも1,000万ラベル付きの事例で,人間に匹敵するか,超える性能が得られるという報告がある1)28)

注5)  たとえばILSVRCでの学習をGPUを使って行った場合,学習が終わるまで20日程度かかる。

注6)  米国アタリ社の2次元ビデオゲームで,「ブロック崩し」ゲーム等が含まれる。Google DeepMindは「Atari 2600」の49種類のゲームについて,画面とゲームスコアだけをデータとして深層強化学習を適用した結果,ゲームのルールを教えていないにもかかわらず,コンピューターはゲームをプレーできるようになり,29種類のゲームでプロのゲーマーよりも高いスコアを出した29)30)

参考文献

1)  松尾豊. “人工知能の現状と競争政策”. 公正取引委員会. http://www.jftc.go.jp/cprc/conference/index.files/170331data02.pdf, (accessed 2017-08-23).
2)  麻生英樹, 安田宗樹, 前田新一, 岡野原大輔, 岡谷貴之, 久保陽太郎, ボレガラ, ダヌシカ著. 神嶌敏弘編. 人工知能学会監修. 深層学習=Deep Learning. 近代科学社, 2015, 267p.
5)  Hinton, G. E.; Salakhutdinov, R. R. Reducing the dimensionality of data with neural networks. Science. 2006, vol. 313, no. 5786, p. 504-507.
7)  "Fairness, accountability, and transparency in machine learning". FAT/ML. http://www.fatml.org/, (accessed 2017-08-23).
8)  “AIネットワーク社会推進会議”. 総務省. http://www.soumu.go.jp/main_sosiki/kenkyu/ai_network/index.html, (accessed 2017-08-23).
9)  緒方啓吾. “Gartner's Voice:アナリティクスの役割は「情勢判断」から「意思決定」へ”. IT Leaders. 2014-08-29. http://it.impressbm.co.jp/articles/-/11660, (accessed 2017-08-23).
10)  Gunning, D. "Explainable Artificial Intelligence (XAI)". DARPA. https://www.darpa.mil/program/explainable-artificial-intelligence, (accessed 2017-08-23).
11)  Park, D. H.; Hendricks, L. A.; Akata, Z.; Schiele, B.; Darrell, T.; Rohrbach, M. Attentive explanations: Justifying decisions and pointing to the evidence. arXiv.org e-Print archive, 2016, arXiv:1612.04757v1. https://arxiv.org/pdf/1612.04757v1.pdf, (accessed 2017-08-23).
12)  Fujimaki, R.; Morinaga, S. "Factorized asymptotic bayesian inference for mixture modeling". Proceedings of the fifteenth international conference on Artificial Intelligence and Statistics. La Palma, Canary Islands, 2012-04-21/23, PMLR, 2012, p. 400-408.
13)  奥田遼介. “ディープラーニングフレームワークChainerの紹介と分散深層強化学習によるロボット制御. ディープラーニングセミナー2015@名古屋”. 2015-08-20. https://www.slideshare.net/ryokuta/dlchainer, (accessed 2017-08-23).
14)  斉藤康己. アルファ碁はなぜ人間に勝てたのか. ベストセラーズ, 2016, 221p.
15)  岡野原大輔. “深層学習は世界をどのように変えられるのか. IBIS2016第19回情報論的学習理論ワークショップ@京都⼤学”. 情報論的学習理論と機械学習研究会. http://ibisml.org/archive/ibis2016/ibis2016okanohara_wo_video.pdf, (accessed 2017-08-23).
16)  藤巻遼平, 村岡優輔, 伊藤伸志, 矢部顕大. 予測から意思決定へ:予測型意思決定最適化. NEC技報. 2016, vol. 69, no. 1. p. 64-67. http://jpn.nec.com/techrep/journal/g16/n01/pdf/160115.pdf, (accessed 2017-08-23).
17)  Ferrucci, D. A. Introduction to "This is Watson". IBM Journal of Research and Development. 2012, vol. 56, iss. 3, 4, p. 1:1-1:15. http://ieeexplore.ieee.org/document/6177724/, (accessed 2017-08-23).
18)  Corrado, G. "Computer, respond to this email". Google Research Blog. 2015-11-03. https://research.googleblog.com/2015/11/computer-respond-to-this-email.html, (accessed 2017-08-23).
19)  村上真奈. エヌビディアが加速するディープラーニング:進化するニューラルネットワークとその開発方法について. NVIDIA. http://images.nvidia.com/content/APAC/events/deep-learning-day-2016-jp/NV-DL-Murakami-Session.pdf, (accessed 2017-08-23).
20)  中田敦. “米Googleが深層学習専用プロセッサ「TPU」公表, 「性能はGPUの10倍」と主張”. 日経コンピュータDigital. http://itpro.nikkeibp.co.jp/atcl/ncd/14/457163/052001464/, (accessed 2017-08-23).
21)  He, K.; Zhang, X.; Ren, S.; Sun, J. Deep residual learning for image recognition. arXiv. org e-Print archive, 2015, arXiv:1512.03385. https://arxiv.org/pdf/1512.03385.pdf, (accessed 2017-08-23).
22)  今井拓司. “ニューラルネットの中間層を自動生成, 三菱電機が新技術”. 日経テクノロジーonline. 2016-10-07. http://techon.nikkeibp.co.jp/atcl/news/16/100704454/?rt=nocnt&d=1503481206535, (accessed 2017-08-23).
23)  “NEC, 業務システムにおける大規模データ予測を自動化する「予測分析自動化技術」を開発:複数のデータベースを短時間で高精度に分析”. NEC. 2016-12-15. http://jpn.nec.com/press/201612/20161215_06.html, (accessed 2017-08-23).
24)  丸山宏. “機械学習工学に向けて”. 日本ソフトウェア科学会第34回大会(2017年度)講演論文集. 日本ソフトウェア科学会, 2017.
25)  丸山宏. “システム開発手法としての機械学習とその知財”. 東京大学政策ビジョン研究センター:IoT, BD, AI時代の知財戦略を考えるシンポジウム. http://pari.u-tokyo.ac.jp/unit/iam/events/pdf/smp160620_maruyama.pdf, (accessed 2017-08-23).
26)  江村克己. 特集 次世代知財システムの構築に向けて:人工知能の活用と共有経済の進展から考察するこれからの知的財産. 知財研フォーラム, 2016, vol. 107, p. 30-37.
27)  “(研究開発の俯瞰報告書) システム・情報科学技術分野(2017年)/CRDS-FY2016-FR-04. 科学技術振興機構 研究開発戦略センター. https://www.jst.go.jp/crds/report/report02/CRDS-FY2016-FR-04.html, (accessed 2017-08-23).
29)  Mnih, V., et al. Human-level control through deep reinforcement learning. Nature. 2015, vol. 518, no. 7540, p. 529-533. https://www.nature.com/nature/journal/v518/n7540/full/nature14236.html, (accessed 2017-08-23).
30)  佐藤由紀子. “Googleの人工知能「DQN」, アタリゲームで人間よりハイスコア叩き出す”. ITmedia News. 2015-02-26. http://www.itmedia.co.jp/news/articles/1502/26/news109.html, (accessed 2017-08-23).
Copyright © 2017 Japan Science and Technology Agency

記事ツール

この記事を共有