異種特徴間の相関およびAttention Mapの確信度を考慮可能な変状画像の劣化レベル分類

抄録

インフラ構造物の維持管理支援のために，変状画像からその進行度合いを分類する深層学習に関する研究が広く行われている．変状画像の分類では，被写体とカメラの距離が画像毎に大きく異なることや被写体自体の多様性等，実データ特有の複雑さにより，深層学習モデルが分類対象と関連しない領域に注目する可能性が高まる．そこで，本稿では，従来の画像のみを用いた深層学習に，変状の発生部位や部材等のテキストデータを導入し，変状領域に注目可能なマルチモーダル深層学習モデルを構築する．さらに，モデルがどの程度の自信を持って変状領域に注目したかを表す確信度を算出し，確信度の高い注目領域が変状分類へ与える影響を強めることで，分類の高精度化を実現する．本稿の最後では，実際の変状画像を用いた実験により提案手法の有効性を検証する．