橋梁点検調書の損傷写真と所見を用いた損傷診断VQAの開発
キーワード:
visual question answering,
bridge maintenance,
inspection record,
natural language processing
2023 年 4 巻 3 号 p. 490-500
詳細
2023 年 4 巻 3 号 p. 490-500
橋梁点検における損傷診断では，損傷状態などの客観的事実とともに，点検員の専門的見地から総合的に判断がなされている．本研究では，点検業務においてそのような判断の根拠が記述されてと考えられる点検員所見から情報抽出を行い，それをもとに作成したデータセットを用いることで，多様な部材や損傷が写っている画像に対して，その診断に関する質問応答を行うdeep learningモデルの構築を行なった．モデルは，部材名および損傷の種類の判別のみならず，損傷状態や原因，懸念される影響に関する予測が可能であった．さらに，モデルの評価および判断根拠に関する分析から，損傷発生部材のみならず周囲の部材に着目して出力するなど，人間に近い判断基準によって判断を下していることが示唆された．
