点検調書作成支援のための生成AIを用いた所見の自動生成 －データプール圧縮を用いた類似画像検索に基づくin-context learningの導入－

抄録

本研究では，橋梁の点検調書作成に不可欠な変状画像に対する所見の高精度な自動生成手法を提案する．近年，視覚と言語の複数のモーダルを高精度に理解可能な生成AIとして注目を集めているmulti-modal modelは，タスクの例をわずか数件与えるだけで学習可能であるため，様々なタスクに適応可能な技術で ある．そこで，本稿では，類似画像検索に基づき，変状画像と所見の組を取得し，multi-modal modelに入力することでその関係性を効率的に学習させ，高精度な所見生成を実現する．特に，技術者が所見作成時に参考にする変状箇所の部材および損傷の種類を利用し，検索対象のデータプールを圧縮することで，所見生成により有用な変状画像と所見の組を取得可能とする．本稿の最後では，実際の橋梁点検調書に含まれる変状画像の所見生成を行う検証により，提案手法の有効性を示す．