橋梁点検画像および変状所見を用いた対照学習による検索と属性識別のための特徴空間の構築

抄録

本研究では，橋梁点検画像および変状所見を用いた対照学習により，橋梁点検に特化した検索と属性識別のための特徴空間を構築する手法を提案する．具体的には，事前学習済みCLIPモデルに対し，約13万件の橋梁点検画像・変状所見ペアを用いて追加学習し，画像とテキストを共通特徴空間上で対応づける．実験では画像-テキスト検索性能および損傷部位，損傷種類，健全度判定，対策区分判定における識別性能を評価した．実験結果より，提案手法は事前学習済みCLIPを大きく上回る検索性能を示し，テキストに基づいて同一の損傷種類・損傷部位を持つ画像を検索する属性ベースの検索能力を獲得することを確認した．また，属性識別においても，単一のモデルで複数属性の分類と検索を統一的に扱えるモデルとして有効であることを示した．