時系列データを用いたMulti-modal Transformerに基づく冬期路面状態の分類

抄録

本稿では，冬期の積雪による路面状態の悪化に対する検知・予測を目的として，時系列データを用いたMulti-modal Transformerを提案する．本研究では，定点カメラより撮影された画像および路面状況に関連するテキストデータという複数のモダリティを入力としたマルチモーダル解析を行う．ここで，複数のモダリティを統合する際，Cross attentionに基づく特徴統合によりモダリティ間の相互補完による特徴補正を行うことで，統合後の特徴量の表現能力向上を実現する．また，複数時刻分の入力データを対象とした時系列処理を導入することで，路面状態の時系列変化を考慮可能とする．また，入力データに対応する路面状態を教師データとした場合および入力データから数時間後の路面状態を教師データとした場合の実験を行うことで，検知・予測の両タスクにおける提案手法の有効性を確認する．