世の中に存在するデジタル情報は爆発的に増加し続けており，インターネット上には計り知れない量の情報が存在している。しかし，私たちが生活している現実空間のほとんどは物理的な空間であり，人間が取得できる情報量は限られている。AR（拡張現実）は，ICT技術により現実空間に付加したデジタル情報を，可視化・見える化する新しい技術として，近年注目されている。ARは高度な要素技術の集合体であり，その進化は個々の技術の進化とともにある。AR表現を支える技術と仕組みの解説を主軸とし，そこから期待される用途，課題と可能性を導く。
近ごろよく目にするARとは，何だろうか。
漫画やSF映画でこんなシーンを見たことはないだろうか。特別なメガネをかけることにより，人の顔を見るとその人のプロフィールが見える，周囲の環境情報が見える，壁の向こうにいる人の姿が見える，というような「実際には見えていないはずの情報が見えるようになる」というシーンである。これはメガネを介した見えない情報の可視化であり，ARの表現の一つである。
私たちの生活空間は，さまざまな情報であふれている。ARの技術によって，漫画やSF映画の表現のように，大量の情報の中から，個人個人の生活に適した情報を受け取ることができれば，生活はより暮らしやすいものになるだろう。ARは，そんな未来を作りうる技術なのである。
ARはAugmented Reality（オーグメンテッドリアリティー）の略で，日本語で「拡張現実」と呼ばれている。
拡張現実を「拡張」と「現実」に分けて考えてみる。人間は視覚，聴覚，味覚，嗅覚，触覚の五感から情報を取得し，「現実」を認識している。つまり「拡張現実」とは，「現実」を認識している人間の五感を「拡張」する技術である。
他にも，聴覚の強化により遠くの会話が聞こえるようになる，味覚の強化により食べているものの味の感じ方を変える，触覚の強化により触っているものの触感を変えるなど，五感の拡張にはさまざまなものが考えられる。現在，ARの活用は視覚情報の取得用途が多いが，今後，センサー機器や認識技術の進化によって，味覚や嗅覚から得られる情報を強化・多様化し，より暮らしやすい未来へと変えていくだろう。
スマートフォンを使ったARの代表的な表現の一つに，カメラ映像に3DCGアニメーションを合成する表現がある（図1）。これは，視覚情報を取得するためのセンサーとしてスマートフォンのカメラを活用し，ARの世界を表現している。AR表現は世界的なブームにもなったスマートフォンゲーム「Pokémon GO 注1）」でキャラクターを捕まえるシーンでも使われている。
また，ARによく似た名前として昨今耳にするキーワードに「VR」がある。ここでVRとの違いから，ARの特徴を説明していく。
1） VRVirtual Reality（バーチャルリアリティー）の略で，こちらも古くから研究されている技術である。VRは，ヘッドマウントディスプレー（HMD: Head Mounted Display）などの表示デバイスを装着し，CGなどによって作られた仮想空間の中に入り込むことができる。疑似体験によって「時間と空間を超えられる」技術である。
VRは仮想情報によって構成された「体験」を現実のように感じさせる技術である。つまりVR上でユーザーに提示される空間情報は，実際のリアルな体験中に感じられる空間情報とは異なるものであるが，提供者側の意図によって，ユーザーはそれをリアルな体験として受け取ってしまうのである。昨今Oculus社のOculus Rift注2）をはじめとする，頭の傾きを検知できるHMDが，数万円～十数万円程度でさまざまなメーカーから販売されている。これにより，VRを体験できるコーナーが街中にも登場してきている。これらのHMDを使用したVR体験で実際にディスプレーに見えているものは，3DCGや，撮影したパノラマ映像のようなデジタルなデータである。しかし，HMDによってリアルな景色を視覚から排除したり，頭の傾き，つまり視線の方向に応じて提示するパノラマ映像の向きを切り替えたりすることで，VR空間への没入感を高めている。
2） ARARは，現実の空間情報に仮想情報を「付け加える」技術である。つまり，構成要素がすべて仮想情報であるVRに対し，ARの構成要素は現実＋仮想の情報となる点が最も大きな違いである。この違いは各技術の利用用途にも影響しており，その場で実際にはできない体験を提供するという実空間を代替するスタンスのVRに対し，ARは周囲の空間に情報を加え，実空間に付加価値を加えるというスタンスでの利用が多い。
ARを構成する要素技術には大きく分けて，「認識技術」と「表現技術」の2つがある。
3.1 認識技術認識技術とは，センサーで取得した空間情報を分析して，その場に何が，どのような状態で存在しているのかを識別する技術である。センサーにはさまざまな種類があるが，よく使用されるのはカメラ，赤外線カメラ，GPS，マイクなどである。これらがセンシングした情報をコンピューターで処理し，特定の画像や物体，人体，顔，位置情報など特徴的な内容を抽出する。その検出にしばしば用いられるのが「画像特徴点」（図2）である。画像中の特徴的な座標を示した点で，画像中の線やエッジ，コントラストや色彩，空間周波数など，検出したい内容に応じてさまざまな特徴量を組み合わせて抽出する。代表的なものにSIFT1）やSURF2）といった方式がある。この抽出した点の配列を，2枚の画像間で照合すると画像のマッチングが可能になり，また，顔の特徴点のパターンを照合すると，顔検出や顔認識が可能になる。ARでは主として特徴点を，ターゲットとなるものの種別，位置，角度，大きさの推定に利用することが多い。
表現技術とは，抽出した特徴に対して情報を提示する技術である。提示される情報はテキストや画像，動画，3DCG，音声など用途に応じて多岐にわたる。ARの表現技術としての特徴にトラッキング表示というものがある。トラッキングとは，特徴点のパターンを検出し追跡する技術である。事前に登録・設定した二次元マーカー，写真画像のようなマーカーレス画像を認識し追跡するのである。マーカー自体をトラッキングするマーカー型のトラッキングに対して，マーカーレス型のトラッキングは，カメラに写っている映像（たとえば，卓上のある一点や特定の物体の周辺など）に対してオブジェクトを表示するような方式である。マーカー型のトラッキングに比べると，マーカーが不要でどこでも体験できるというメリットがある。トラッキングによってAR表現で提示される情報はターゲットの種類や位置，大きさに合わせて，合成された形で表示することができる。
ARで最も認知されている表現方法に，ARマーカー（図3）と呼ばれる四角形の二次元コードの上に3DCGのキャラクターが表示されるものがある。これはカメラ画像からARマーカーの位置，角度，大きさの情報を抽出する認識技術と，取得した情報に応じて，カメラ映像にリアルタイムに3DCGを，適切な形で表示する表現技術で構成されている。
3DCGは，ARマーカーの位置や形状に応じた向き，大きさで表示されるため，この表現はしばしば配置シミュレーターの用途にも用いられる。たとえば既定の大きさで印刷したARマーカーを用意しておき，その上に実寸大の家具や家電のCGを表示する。これらのマーカーを実際の部屋に配置し，スマートフォン越しに部屋をのぞくと，画面には実際の部屋に家具や家電が置かれているかのような拡張空間が表示される。これにより，購入後のサイズ感や配色，イメージを事前に確認することができる。
AR研究の歴史は古く，今から50年以上前にARの概念を体現するデバイス開発が行われていた。
1965年，ハーバード大学のアイバン・サザーランド准教授は，VR研究のためにHMDを開発していた3）。その過程でHMDをシースルー化し現実の空間とデジタル情報を合成するという試みを行った。この時点ですでに，現実の空間をデジタルデバイスによって拡張するという，ARのコアアイデアは考案されていたのである。しかし，高性能な計算機や，先進的なデバイスを必要としていたため，広がる将来像とは裏腹に，ARという技術はなかなか研究の域を出ることはなかった。そんなARの一般への普及に大きなブレークスルーをもたらしたきっかけは，大きく2つある。
その1つが，1999年，現奈良先端科学技術大学院大学の加藤博一教授が開発した，ARToolKit注4）というAR用ソフトウェアライブラリーの登場である。このライブラリーの登場によって，主に研究レベルで開発されていた閉じた技術としてのARが，プログラミングの心得と最低限の環境があれば実装できる開いた技術へと大きく変化した。これにより，ARはイベントやサイネージ（電子看板）などのビジネス用途へ広く活用されるようになった。この時点でのARの主な利用環境はPC＋Webカメラという構成だったため，ARは基本的に特別な「場所」で体験するものだった。
そして2つ目のブレークスルーがやってくる。ここ10年ほどで爆発的に普及しているスマートフォンの登場である。カメラ，ディスプレー，プロセッサーを小型の筐体（きょうたい）に詰め込んで，アプリケーション（アプリ）という形式で利用できる持ち歩き可能なスマートフォン端末は，ARととても相性のよい存在であった。スマートフォンの登場により，ARは「場所」の縛りから解放され，「モノ」を起点とした展開が可能になった。商品パッケージや雑誌，カタログ，ポスターなど多様なモノを認識対象とすることが可能になり，アプリ開発ブームも追い風となってさまざまなARアプリがリリースされた。また，画像認識型のARだけでなく，スマートフォンはGPSセンサーを内蔵していることから，セカイカメラ注5）のような位置情報に連動したARサービスも誕生した。認識技術の広がりに伴って，表現の種類も多様化したのである。
4.2 先端技術を取り入れ進化するARスマートフォン向けのARアプリの中にもさまざまな変遷がある。たとえば認識できる対象については，初期は二次元コードのような決まったパターン画像を認識していたものが，自然画像（写真やイラストのような不特定のパターンをもつもの）を認識できるようになり，現在では一定の精度で立体物の画像認識もできるようになっている。
また，ここ数年ではネットワークサーバーを使った，物体・画像認識のクラウド処理技術が登場し，認識できる対象の数が爆発的に増加した。それまでは認識対象の画像情報をスマートフォンアプリの中に保持していたため，容量や認識処理速度などの制約から，認識対象の数は数十から数百程度が限界だった。しかし，クラウド認識技術の登場によって，サーバー上に登録されている数万から数十万の認識対象の中から1～2秒ほどで，カメラに写っている認識対象を見つけられるようになった。そのため，2010年ごろから，このクラウド型の画像検索システムを利用した汎用のARプラットフォームアプリがビジネス化してきている。ARプラットフォームアプリには，KDDI株式会社からリリースされているSATCH VIEWER注6）などがある。商品パッケージやパンフレット，ポスター等媒体を問わず広く利用されている。
次なるブレークスルーのきっかけと目されているものはスマートグラスの技術革新である。Google Glass注7）を皮切りに，EPSONのMOVERIO注8），MicrosoftのHoloLens注9），Magic Leap社のMagic Leap注10）などARの利用を見越したスマートグラスの開発競争が近年活発になってきている。まだまだ日常化には至ってはいないが，工場でのオペレーション支援や，観光地での情報提示によるナビゲーション機能など，実証実験的な試みが現在でも行われている。500グラム程度の重量，4時間程度の駆動時間，防水性・耐熱性など，日常生活での着用に際して改良すべき点は多い。しかし，それらの性能が向上し，生活に違和感なく溶け込むことのできるスマートグラスが普及していくと，AR研究の黎明（れいめい）期から構想されていた，拡張された空間情報を自然かつ無意識に受け取れるようなARの世界が実現する。今まで主にユーザーの意思によって行われていた拡張情報の取得という能動的な「行為」が，無意識に享受する受動的な「環境」となるのである。つまり，より生活に根差した「便利で役に立つ」ARの使い方や関係性が生まれてくることが強く期待されている。
PCとシースルーHMDの要素で始まったAR技術は，まず二次元マーカーのパターン画像認識，自然画像のパターン認識，立体物の画像認識に代表される認識技術を取り入れ，CGなどのコンテンツ表現技術，多様なデバイス，高速化のアルゴリズム，ネットワークによるクラウド認識技術と，他分野のさまざまな技術を取り入れてきた。
このようにARは「現実を拡張する」というコンセプトの下，広く要素技術を吸収しながら複合的な発展を遂げて領域を拡大してきた。また進展はこれから先も同様で，現在，先端領域として研究されているバイオコンピューティングや人工知能，果てはまだ見ぬ新技術をもその中に取り込んで可能性を広げていくことだろう。
スマートフォンでARの利用が可能になると，表現の新しさからエンターテインメント用途や商品プロモーション用途に使われることが多くなった。しかし，今では技術やデバイスの進化により，ARは社会生活の中のさまざまな領域，用途に使われ始めている。ここで，その一例を紹介する。
（1） 観光城跡などの史跡にスマートフォンなどの端末をかざすと，当時に建っていたであろうお城が画面越しによみがえり，観光や文化の理解を豊かにする。国内の観光地で使われ始めている（図4）。
（2） 訪日外国人旅行客対応スマートフォン越しにのぞくことで，飲食店メニューや交通機関，施設の案内表示を，利用者の国・地域の言語で表示してくれる多言語コミュニケーション。東京オリンピック・パラリンピック競技大会が開催される2020年の実用化を目標として実証実験が行われている。
（3） 工場オペレーション支援スマートグラスのディスプレーに，具体的な作業手順や内容を表示。工場での作業精度向上，作業時間短縮などの効率化を図る。実用化が進み始めているが，今後スマートグラスが普及することで，さらなる導入が予測される（図5）。
（4） ファッション特別な姿見の前に立つだけで，衣服の試着が可能。試着時間の短縮やレコメンド表示で販売促進活用が進む（図6）。
（5） 防災教育ハザードマップを基に，その場所で災害が起こった場合の様子を，スマートフォン越しに可視化。災害体験を自分ごと化し，災害に対する意識を高める用途で活用が進む。
このように徐々に世の中に浸透してきたARだが，これからさらに利用を広げていくためには大きな課題がある。それは，「いかに実用的で生活に密着した技術にしていくか」という課題である。
これまでにも述べてきたが，ARの最もイメージしやすい「有用な」使い方の一つは，スマートグラスのようなシースルーのディスプレーで周囲を見たときに，何を見ても状況や物体に即した情報が表示される，といったものだろう。
しかし，これを現在の環境で実現しようとした場合，「認識技術」のソフト面，「表示デバイス」のハード面，「コンテンツ生成」の運用面，それぞれに課題がある。
認識技術の課題は，いうまでもなく空間情報の正確な把握である。認識技術の精度も認識できる範囲も急速に進歩しているが，それでも先述のイメージの具現化にはまだ心もとない。世の中には多数の物体があふれており，日々その種類は増え続けている。それらすべてを正確に認識し判別することは，現状の技術ではロジック的にも計算速度的にも難しい。また，見えているもの同士の相互関係で意味をもつもの，意味が変化するものもあり，それを認識するための機械の能力は人間のそれにはまだまだ遠く及ばない。
表示デバイスの課題は多方面にわたる。日常的な使用にはユーザーの負担にならない装着感，重量，表示方法が必要で，快適な使用にはマシンパフォーマンスの向上や，ひいては通信回線の安定化・高速化など外部環境の整備も必要である。また，一般に普及するためにはそれらの高度なデバイスを購入・継続利用できるコスト面にも配慮しなくてはならない。
認識技術，表示デバイスがそろったとしても，肝心の表示する情報がなければ意味がない。認識技術でも述べたように，現代ではモノが増え続けており，それに伴い認識対象の数も爆発的なスピードで増えている。そのスピードに追い付こうとした場合，大量の人的リソースか，効率的な自動コンテンツ生成の仕組みが必要であるが，現状はそのどちらも未整備のままである。
これらの技術的な現状を正しく理解したうえで，対応が可能か否かを判断し，最適なシステム・体制を構築して利用シーンを作り上げる。それが現在のAR提供者に課された課題であり，さまざまな要素技術を取り入れて広がってきた特殊な技術だからこそ，それら一つひとつを広く理解し，適切に取捨選択できる総合的なプロデュース能力が必要とされているのである。
6.2 人の気持ちを察する技術今後，技術が進歩し，ARが最も求められる形で利用できるようになってきた場合，重要になるのは，ある「モノ」を認識したときにどのような属性の情報を提示するのか，というコンシェルジュの役割を果たす機能だろう。現在，人が欲しい情報を探すとき，最も利用している方法はインターネット検索だろう。検索の仕組みは，商品名と価格，またあるときは商品名と評判，というように，基準となるキーワードに対して，もう一つのジャンルのキーワードを組み合わせることで要求に沿う検索結果を引き出すというものである。操作を必要としない日常的な情報取得手段としてARを使う場合，このもう一つのジャンルを絞り込むための何かしらの手法が必要である。技術的，機械的な要素がそろってきた後，「いかに人間の気持ちを察することができるか」というエモーショナルな側面をどれだけ発展させていけるかによって，ARは人の生活にとって心地よい技術になれるか否かが決まってくるだろう。
現在ARといえばその大部分が視覚情報を拡張する用途で使用されている。今後はこれらだけでなく，人間の他の感覚を拡張するような使い方も開発されていくことが予想される。たとえば，他の国・地域の言語で話しかけられた音声を母国語に翻訳して耳に届けるといった技術も，大別すればARといえるだろう。また，五感を超えて，わからない単語を見たときに，その形状や詳細の情報が頭の中に浮かんでくる，知らぬ間に記憶に刻まれるといった超能力のような夢のある技術もそのうち実現できてしまう可能性もある。
現在は人と機械は明確に切り分けられている。しかし，昨今のウェアラブルコンピューターやバイオコンピューティングの隆盛が示すように，今後技術が発展し人と機械の境目がもっとあいまいになってくると，機械で現実空間を拡張するというARのコンセプトは人間自体の機能を拡張するものへと変化していくのかもしれない。
ARは元をたどれば一つの表現手法である。その一表現手法が，物体認識技術，表示デバイス，ネットワーク，AIなどさまざまな技術を取り込んで市場を形成し，もう少しで日常的に使えるところまで来ている。ここにさらなる新技術だけでなく，利用方法のアイデアや進むべきコンセプトまでも貪欲に取り入れていくことによって，ARは人間の新たな未来を広げてくれるだろう。
凸版印刷株式会社 情報コミュニケーション事業本部トッパンアイデアセンター先端表現技術開発本部所属。先端表現技術・インターフェースを活用したビジネス開発に従事。
凸版印刷株式会社 情報コミュニケーション事業本部トッパンアイデアセンター先端表現技術開発本部所属。ARやVRを使ったデジタルプロモーションの企画制作に従事。
