全方位画像からの推定深度情報を用いた深層学習による空間の評価予測

抄録

本研究では、コンピュータグラフィックスにより作成された深度画像と全方位RGBの各ペアをpix2pixを用いて学習することにより、街路景観の全方位RGB画像から全方位深度画像を生成する方法を開発した。 次に、さまざまな場所や気象条件の下で撮影されたさまざまな一連の画像で学習されたモデルを、Googleのストリートビュー画像に適用して深度画像を生成し、生成された深度画像の妥当性を視覚的に評価した。さらに、複数の参加者を使用してGoogleのストリートビュー画像の評価実験を行った。 DCNN(Deep Convolutional neural network)を用いたランク付け学習法を用いて、深度画像の有る場合と無い場合による画像の評価値を推定するモデルを構築した。 結果は、街路景観評価モデルの性能が深度画像の有無によって変化すことを示している。