GIS データと街路画像を用いたLLMによる交通リスクの説明

抄録

運転支援システムや自動運転技術における交通リスクの考慮は、交通事故防止において重要である。交通リスクは画像情報に多く含まれていると考えられる。しかし、画像情報のみから走行シーンに含まれる交通リスクを説明することは困難であり、この分野の研究はまだ十分に進展していない。本研究では、GISデータと街路画像を入力とした、交通リスクを説明可能なマルチモーダルフレームワークを提案する。このフレームワークは、GISデータに基に作成された交通事故リスクマップから高リスク地域の座標を特定し、その地域に関連する街路画像を用いて、マルチモーダルネットワークを学習する。これにより、任意のシーンにおける交通リスクを効果的に説明するフレームワークを構築する。実験結果から、提案されたフレームワークは、GISデータに基づく高リスク地域に対して、交通リスクを考慮したキャプションを生成できることが示された。