物理世界の幅広い物体すべてをそのままの見た目や機能でデジタル化することは、仮想現実 (VR) の野心的な目標の1つである。現行のVRアプリケーションでは、物理世界の物体をメッシュなどの明示的なデータ形式に変換して活用し高速なインタラクションやレンダリングを可能にするが、このような明示的なデータ形式はVR内で表現できるリアルさの上界になっている。この限界を取り払うべく、ゲーム分野で使われる古典的なビルボードと呼ばれる技術から発想を得て、私たちはニューラルネットでリアルタイムにレンダリングされる2D画像だけで近似的に3Dオブジェクトを表現するDeep Billboardsを開発した。私たちのシステムは、一般的なVRヘッドセットでもクラウドレンダリングを活用することでリアルタイムかつ高解像度に、幅広い質感を持つあるいは変形するオブジェクトなどを利用することを実現し、物理世界と仮想世界の間のギャップを劇的に狭めることに貢献する。さらに、古典的なビルボードでは物理インタラクションが再現できなかった問題も単純な工夫により広く解決でき、DeepBillboardsが広く活用できることを示す。
