本論文では、現実環境に情報を付加表示した拡張現実(AR:Augmented Reality)内で、エンタテインメントを求めたアクアリウムのシミュレーションシステムを提案する。WEB カメラでリアルタイムに撮影された利用環境に、コンピュータグラフィックスで作成された魚等の3D モデルを付加させた映像を、ディスプレイを通して映し出すことによりユーザがあたかも魚が身近にいるように感じられるようになっている。本論文では、エンタテインメントの要素として、「インタラクティブ性」と「コミュニケーション性」、「意外性」に着目してアプリケーションを実装している。「インタラクティブ性」に関しては、AR を用いる事で、リアルタイムに表示されるオブジェクトにユーザの操作を反映させている。 「コミュニケーション性」に関しては、ユーザどうしが魚を育成しあい、成長の過程をTwitter に書き込んで行く事で、ユーザ間の関わりができるようになっている。また、入力画像中の色情報より魚の選択が行われ、さらにユーザが発する音に応じて、虹が出現し「意外性」を表現している。評価実験により、「インタラクティブ性」、「コミュニケーション性」、「意外性」の点で、既存のアプリケーションよりも良い結果が得られた事が確認されている。

本研究では，複数のカメラから取得した多視点カメラ映像をもとに，投影マッピングを利用した視体積交差法により，リアルタイムで対象物体の３次元形状を復元して描画する手法を提案する．本手法では，３次元空間上で複数の平板を平行かつ等間隔に並べた平行平板群を３軸方向に組み合わせたモデルによりボクセルモデルを疑似表現することで，ボクセルベースの視体積交差法を模擬する．各カメラ映像のフレーム画像ごとに，まず，前景（対象物体）ピクセルと背景ピクセルをα値で区別した投影用テクスチャを生成する．そして，グラフィックライブラリの投影マッピングの機能を利用して，各カメラの投影用テクスチャを各カメラ視点から平行平板群に対して投影し，全カメラの投影領域の積をα値の演算により求めることで，３次元空間上での物体の形状をビジュアルハルにより色情報とともに高速に復元して描画する．本手法は，通常のボクセルベース視体積交差法に比べて非常に高速であり，動きを伴う対象物体に対してもリアルタイムで仮想視点映像を生成することが可能である．