道路環境リスク分析のためのプロンプトエンジニアリングを用いたキャプションデータの生成

抄録

運転支援システムや自動運転技術の普及に従い、交通事故の低減に一定の効果が示されているが、更なる事故低減のためには交通事故リスクを解釈しメカニズムを分析することが重要である。運転シーンを説明可能なマルチモーダルネットワークの研究では、メタデータを用いて認識可能な物体を考慮したキャプションの生成手法が試みられてきた。このような手法では、人間などの動的な物体に焦点を当ててキャプションが生成されることが一般的である。しかし、運転シーンに含まれる交通事故リスクを解釈するためには、道路標識・道路構造などに起因する静的なリスクもキャプション生成の際に考慮されるべきである。既存の大規模マルチモーダルネットワークでは、この種の道路環境のリスクに対応するキャプション生成が困難である。この課題に対処するため、プロンプトエンジニアリングを活用し、動的物体と静的な潜在的リスクを包含するキャプション生成手法を提案する。提案手法の有効性を実証するために、異なるアプローチで生成されたキャプションとの定量的比較分析を実施する。さらに、生成されたキャプションを用いてBLIPモデルの学習を行い、その性能を検証する。