Attention機構モデルによる橋梁撮影画像からの損傷状況推定

抄録

橋梁撮影画像には損傷以外にも損傷が発生している部材名称など，様々な情報が含まれている．本研究では，多様な損傷や部材が写っている画像を基に，損傷状況を説明する文章を自動生成するDeep Learningモデルの構築を行った．さらに，Deep LearningモデルにAttention 機構を導入することで文章生成の精度向上を図るとともに，Deep Learningモデルが文章を生成する際に，入力画像のどの部分に着目して出力したのかという判断根拠を表す可視化画像の生成を行った．Attention機構を用いたモデルは，Attention機構を用いていないモデルと比較して高い精度で文章を生成できることが示された．また，文章生成時に，損傷の発生箇所や各部材に着目して単語を出力していることが示された．さらに，損傷発生部材のみならず周囲の部材に着目して出力するなど，人間に近い判断基準によって判断を下していることが示唆された．