Vision Transformerと大規模視覚言語モデルを用いた道路附属物の損傷種類と損傷程度の推定

抄録

道路附属物は道路標識や照明に代表される道路に設置される設備の総称であり，その設置数と設置範囲の 広大さから点検の効率化が望まれている．これまで，道路附属物を対象として，損傷の種類を分類するための AI モデルの研究が行われていた一方，社会実装を実現するためには説明性のある枠組みの構築と損傷の程度を推定する必要がある．そこで，本研究では Vision Transformer による損傷種類の分類と大規模視覚言語モデルの In-context learning に基づく損傷程度推定を組み合わせた枠組みを構築する．ViT による損傷種類の分類により説明性のある枠組みを実現し，大規模視覚言語モデルの In-context learning による程度推定器の学習により，Vision Transformer による学習が難しい損傷程度の推定を実現する．本稿の最後では，実際の道路附属物の画像を用いた実験により提案手法の有効性を検証する．