仮想環境を利用した点群セグメンテーションモデルの作成と実環境適用性の評価

抄録

建設現場の3次元的な状況把握には，高精度な点群セグメンテーション技術が不可欠である．しかし，深層学習モデルの訓練に必要な大規模かつ多様なアノテーション付き点群データセットを実世界の建設現場から取得することは，コストと労力の観点から極めて困難である．本研究では，この課題を解決するため，Unityベースの仮想環境シミュレータ(OperaSim-PhysX) を活用し，多様な地形や建設機械を含むシーンを効率的に自動生成する手法を提案する．仮想環境内でRGB画像と深度画像を取得し，オブジェクトごとのマスク画像を合成することでアノテーションマップを自動作成し，大規模な教師あり合成点群データセットを構築した．この合成データのみを用いてPointNet++モデルを学習し，その実環境への適用性を検証するため，ドローンを用いたSfM（Structure from Motion）によって取得した実世界の建設現場の点群データに適用した．実験の結果，仮想環境のみで学習したモデルでも，実世界の点群データにおいて建設機械の種類や位置をある程度認識できる可能性が示された．特に重機の見落としが少ない（高い Recall）点は有望である．しかし，背景との色味の類似性やSfMで再構成が不十分な小型物体の検出精度など，仮想環境と実環境のドメインギャップ（Sim-to-Real ギャップ）に起因する課題も明確になった．これらの結果に基づき，今後の精度向上に向けた改善の方向性を議論する．