地理情報を考慮した3D都市ビジュアルプログラミング

抄録

我々は、都市規模の3Dシーンとの自然言語インタラクションを可能にするビジュアルプログラミングフレームワーク、GeoProg3Dを提案する。GeoProg3Dは、我々が紹介する2つの重要な技術を制御する： 地理情報を考慮した都市規模3D言語フィールド（GCLF）と地理的視覚API（GV-API）である。GCLFは言語フィールドを都市規模の3Dデータに拡張し、地理情報に基づいた正確なクエリを可能にする。GV-APIは、セグメンテーションや物体検出などの特殊な地理的視覚処理ツールを提供する。GeoProg3Dは、GCLFとGV-APIのコンポーネントを動的に組み合わせて実行可能なプログラムを構築し、正確な地理推論を実現する。さらに、我々は評価のためのデータセット、GeoEval3Dを紹介する。GeoEval3Dデータセットには、5つの難解な地理的視覚タスクに対する952のクエリと正解のペアが含まれている。実験の結果、GeoProg3Dは様々な地理的視覚タスクにおいて既存のモデルを凌駕することが示された。このフレームワークは、都市計画、災害対応、環境モニタリングなどの分野への応用が期待される。