点検調書作成支援のための生成AIを用いた所見の自動生成－クラスタ分析を通じた類似画像検索に基づくin-context learningの導入－

抄録

本研究では，橋梁の維持管理業務を効率化するため，Multimodal Large Language Modelに基づく所見の自動生成技術を提案する．この生成AIに変状箇所の写真およびその所見を数例与えることで，これらの関係性を学習し，所望の変状箇所の写真について所見を生成可能となる．提案手法はこの特性を効果的に活かすため，所見項目ごとに関係性を学習する上でより有効な点検情報をクラスタリングにより発見し，それらの点検情報に基づき過去の点検調書を選定する．これにより，所見生成精度が向上するだけでなく，クラスタリングにより選定した点検情報と橋梁点検者の所見作成に内在する知識が関連することを明らかにする．実験では，提案手法が橋梁点検者の知見を反映し，高精度な所見を自動生成することに成功したことを示す．