OpenAI CLIPによる点検者所見を活用した橋梁の損傷診断

抄録

道路構造物を対象とした損傷診断は，損傷状態などの客観的な記録に加え，点検者の専門的な見解を取り入れた総合的な評価によって行われる．一方で，深層学習を用いた点検や維持管理の効率化に関する研究の多くは，客観的な記録を対象として実施されており，点検者の専門的な見解の活用による総合的な損傷診断を可能とするため，言語ベースな情報に対して，画像とテキストの関連性のモデル化により，深層学習による豊富な表現間の理解が求められる．本稿では，CLIPにより，xROADに記載される点検者所見および損傷画像から特徴量を抽出し，これらを統合した特徴ベクトルの学習によって，橋梁の損傷診断が可能か検討した．検討の結果，CLIPによる言語ベースな情報の活用によって，深層学習を用いたタスクに対する汎化性能の向上が示唆された．