2024 Volume 110 Issue 15 Pages 1244-1250
Using two types of image processing techniques without machine learning, edge extraction processing and keypoint extraction processing, progressively corroded regions under the rust layer from images of corroded steel surfaces was extracted. We found that there was a relatively good correlation between the keypoint strength obtained from the keypoint extraction processing for HSL transformed and histogram flattened corroded surface images and the corrosion depth after rust removal.
海浜地域にある橋梁や化学プラント，原子力プラント等の大型インフラ構造物にとって，大気腐食による構造材料の劣化は大きな問題の一つである。構造材料の腐食による健全性の低下は構造物の崩落等の重大事故に直結する問題であることから，大気腐食に関して腐食メカニズムや腐食量予測等，これまでに多くの研究がなされている。例えばHosoyaらは大気腐食メカニズム解明を目的として腐食影響因子の一つである海塩に着目し，炭素鋼表面に付着した海塩の吸水により表面に生成される水膜の厚さと腐食速度の関係を調査し，水膜厚さが50 µm近傍において腐食速度が最大となることを示した1)。またKihiraらは様々な環境条件における耐候性鋼の長期腐食量予測を目的として，環境条件ごとの適切なパラメータ推定アルゴリズムを組み入れた，べき乗則に従う腐食予測モデルを立案した2)。また著者らは，大気腐食の重要パラメータである飛来海塩量，気温，相対湿度，降雨を考慮した長期大気腐食量予測モデルを構築し，宮古島市，銚子市，つくば市における実測データを精度良く再現できることを示した3,4)。ここで例示した研究のみならず多くの先行研究により，大気腐食速度と飛来海塩量に代表される重要パラメータとの関係が明らかとなりおおよその腐食量予測が可能となってきているが，これまでの知見を活かしたとしても局所的な腐食の進行を把握することは難しい。局所的な腐食が進行することで材料劣化や応力集中による構造物の破壊に繋がる可能性があることから，大局的な腐食量予測と併せて局所的に腐食の進行した位置を特定する手法の開発が望まれている。
これまで，腐食による劣化箇所の特定は現場における目視検査が主流であったが，近年発展著しいAI技術を用いて劣化箇所を特定する試みも見られる。インフラ設備に発生したさび検出のための画像認識AIとドローンを組み合わせ，人間の目視検査が困難な箇所の診断を可能とするなど，新たな腐食箇所の特定方法として注目されている5)。しかし，この手法を用いて腐食による外表面の変色位置を機械的に特定することは可能であるが，変色位置におけるさび層下の腐食の進行を把握することは難しい。さび層下の腐食の進行を精度良く診断するためには，AIの学習のための多くの教師データが必要であり，画像の収集や正解データとなる腐食量の取得等にかかる多大な時間と労力が大きなネックとなる。もしAI等の機械学習をせず，外観画像への画像処理のみである程度さび層下の腐食の進行を把握することができれば，学習のための教師データ準備の手間なしに目視検査の回数を最小限に抑えることが可能となり，効率の良い腐食診断ができると考えられる。
本研究では， 機械学習なしで腐食外観画像からさび層下の腐食診断をすることを目的として，炭素鋼に対し乾湿繰り返し試験を行った腐食試験片の外観画像に対し輪郭抽出処理および特徴点抽出処理を行い，さび層下の腐食の進行の把握を試みた。
試験片には溶接構造用圧延鋼SM490Aを用いた。Table 1に，試験片の化学組成を示す。受け入れままの厚さ4 mmの鋼材を25 mm×25 mmに切断し，表面をSiC研磨紙で#600まで湿式研磨した。その後，エタノールで脱脂洗浄し腐食試験に供した。
| C | Si | Mn | P | S | O | N | |
|---|---|---|---|---|---|---|---|
| SM490A | 0.17 | 0.02 | 1.09 | 0.012 | 0.004 | 0.001 | 0.0018 |
腐食試験として定露点型乾湿繰り返し試験を行った。本試験は，試験片表面に液膜を形成した後に，水露点を一定に保ちながら温度と相対湿度を変化させる手法であり，温度と相対湿度の変化はISO 16539 method-Aに基づいている6,7,8)。水露点は28°Cに保持した。試験片表面は，腐食部に相当する約15 mm×15 mmの領域を残してマスキングテープで被覆した。腐食部には，Cl−付着量が0.01 g m−2および液膜厚さが0.5 mmとなるように，NaCl水溶液を用いて液膜を形成した。なお，液膜の形成はサイクル毎に行い，純水でのCl−の洗い流しは行っていない。
本腐食試験は，屋外に置かれた鋼材表面の1日の温度と相対湿度の変化を模擬しており，湿潤/乾燥の1サイクルが24時間に相当する。本研究では，14サイクル（2週間）の腐食試験を行った試験片について解析を行った。腐食試験後の試験片の外観はデジタルカメラで撮影し，80°Cの20 mass%クエン酸水素二アンモニウム水溶液中でさび層を完全に除去した。その後，3D形状測定機（高さ分解能：0.1 µm）を用いて腐食深さの分布を計測した。得られた腐食深さ分布の解像度は1200×800ピクセルである。
2・2 腐食箇所抽出のための画像処理法人間の目で観測できる腐食箇所は，さび表面の茶色や黒等の色調の異なる複数の領域からなる「模様」として認識される場合が多い。さびは金属表面の腐食反応により生成されることから，さび表面の「模様」とさび層下の腐食の間には関連がある可能性がある。そのため，Fig.1に示すように，撮影した外観写真や動画から「模様」の領域を抽出できれば，さび層下の腐食の進行を把握できる可能性がある。本研究では以下に示す2種類の画像処理によりさび表面の「模様」を抽出することでさび層下の腐食の進行の把握を試みた。画像処理にはPython v3.9とOpenCV v4.9ライブラリを用いた9,10)。
Schematic illustration of the extraction of progressively corroded regions from images of corrosion surface using image processing techniques.
輪郭抽出法とは，基準となる画像情報に従い定義された境界に沿って画像中の物体や領域を抽出する手法である。基準となる画像情報として一般的に使われるのは画像の明度で，グレースケール変換した画像に対する二値化処理により領域境界を定義することでFig.2のように輪郭を抽出することができる。本研究では，グレースケール変換した腐食表面画像に対し，しきい値を105から130まで5刻みに設定した二値化処理による輪郭抽出処理を行い，画像中の陰影からさび表面の「模様」を抽出した。
Schematic illustration of the edge extraction processing.
特徴点抽出法とは，画像中に存在する物体を特定するための要素（以後，特徴点と呼ぶ）を検出する手法であり，画像中の同一物体のマッチング等に用いられることが多い10)。Fig.3に示すように，特徴点抽出法では画像における隣り合うピクセルの輝度の勾配により定義された画像中の「角」の位置が特徴点と定義される。また，輝度勾配と「角」の角度から定義される強度（以後，特徴点強度と呼ぶ）は，画像中の物体を特徴づける指標となる。画像中の「模様」から認識される輝度の勾配および「角」から特徴点を抽出することで，さび表面の「模様」を抽出できると考えられる。
Schematic illustration of the keypoint detection processing. Dashed circles represent detected keypoints using the process.
本研究では，特徴点抽出処理に用いる腐食表面画像について，前処理を施した場合の特徴点抽出処理と，前処理なしの場合の特徴点抽出処理で比較を行った。前処理として，RGB色要素を色相（Hue），彩度（Saturation），輝度（Lightness/Luminance）に変換するHSL変換11)により輝度のみを抽出し，輝度に対しヒストグラム平坦化12)を適用することで輝度の勾配を明確化した。特徴点抽出法アルゴリズムとしてFeatures from Accelerated Segment Testアルゴリズムを採用した13,14)。
Fig.4（a）に試験前，Fig.4（b）に14サイクルの乾湿繰り返し試験後の表面写真を示す。試験後は全面が茶褐色の腐食生成物に覆われ，細かな黒褐色の陰影が見られた。この黒褐色の陰影が確認された領域では，さびの凹凸がやや大きくなっているように見え，この部分でより腐食が進行していると思われる。
External views of wet-and-dry test specimen, (a) before testing, (b) after 14 cycle testing. (c) contour map of corrosion depth after rust removal. (Online version in color.)
Fig.4（c）にさび落とし後の試験片の深さ分布を示す。橙色や黄色で示される5–15 µm程度の腐食が発生した領域と，赤色で示されるほぼ腐食が起こっていない領域に分かれている。また，青色で示される15 µmよりも深い腐食が発生したスポットも点在していることが確認された。なお，腐食部における平均の腐食深さは7.0 µmであり，最大腐食深さは55 µmであった。
Fig.4（b）とFig.4（c）を見比べると，深い腐食が発生した青色のスポットは腐食試験後の試験片の外観と対応関係が見られないが，5–15 µm程度の腐食が発生した橙色や黄色の領域は，黒褐色の陰影が確認された領域と比較的対応しているように見える。深さ分布における橙色や黄色の比較的腐食が進行した領域では，腐食反応が活発であることから腐食生成物が多く生成され，さび表面の凹凸が大きくなったことにより黒褐色の陰影として表面写真に現れた可能性，また活発な腐食反応により特異的に黒褐色の腐食生成物が生成された可能性が考えられる。そこで，Fig.4（b）に示す腐食試験後の試験片外観写真に対し2・2節で示した2種類の画像処理法を適用することで画像中の黒褐色領域の抽出を試み，さび落とし後の腐食深さとの対応について検討した。
3・2 輪郭抽出処理Fig.5に二値化による輪郭抽出処理のしきい値を変化させたときの画像を示す。二値化処理のしきい値を115および120に設定したときに，処理画像中央の陰影の領域と試験片中央部の腐食の深い領域，つまり腐食の進行している領域に若干の類似する部分が見られた。輪郭抽出処理では設定したしきい値よりも明度が大きい部分が黒色で抽出されることから，さびの凹凸による黒褐色の領域が抽出されたと考えられる。3・1節で言及したように，表面の黒褐色の領域のさび層下において比較的腐食が進行していた。これより，輪郭抽出処理において黒褐色の領域を抽出できる適切なしきい値を設定することで，腐食の進行している領域をある程度抽出できたと考えられる。しかし，適切なしきい値は画像の明度によって変動し決定が困難であること，陰影の領域と腐食の進行している領域の間の相関性は大きくなく，本処理方法では抽出できない領域が多数あるという欠点がある。また，輪郭抽出処理は画像中の明度が濃い（または薄い）箇所の抽出であるため，腐食の進行の相対的判断を行うことは本質的に不可能である。一方，2・2節で言及したように，明度のしきい値のみで領域の抽出を行う輪郭抽出処理に対し，画像における隣り合うピクセルの輝度の勾配と画像中の「角」の角度を用いる特徴点抽出処理は，領域抽出に用いる画像情報が多く画像の特徴的な位置のみならず強度も抽出可能であることから，腐食画像の黒褐色の陰影からさび層下の腐食深さを相対的な数値として抽出できる可能性がある。そこで，さび落とし前の腐食画像に対し特徴点抽出処理を適用し，さび上の黒褐色の陰影とさび層下の腐食の進行との関係について検討した。
Images of test specimens converted by edge extraction processing with threshold of binarization from 105 to 130.
Fig.6に前処理なしの画像，およびHSL変換とヒストグラム平坦化による前処理ありの画像に対し特徴点抽出処理を行い，得られた特徴点の位置と特徴点強度のコンターを示す。特徴点強度は検出された特徴点強度の最小値と最大値で正規化した。前処理なしの画像に対し特徴点抽出を行った場合（Fig.6（a）→（b）），特徴点強度から腐食の進行している領域を特定できなかった。Fig.6（a）に示すように，特徴点抽出処理により検出された特徴点数は約30点と非常に少なかった。前処理なしの画像では，画像中の輝度の変化が小さいため画像中の「角」で定義される特徴点を検出できず，腐食の進行している領域を特定できなかったためと思われる。一方で，前処理ありの画像に対する特徴点抽出を行った場合（Fig.6（a）→（c）→（d））では，Fig.4（c）の試験片中央部や下部における腐食の進行している領域に対し，Fig.6（d）の対応する位置における特徴点強度が大きく出ており，腐食の進行している領域を相対的に抽出できていた。
(a) Positions of keypoints detected from original corrosion image. (b) Contour map of keypoint strength from original corrosion image. (c) Positions of keypoints detected from corrosion image with HSL conversion and histogram normalization. (d) Contour map of keypoint strength from corrosion image with HSL conversion and histogram normalization. (Online version in color.)
ここで特徴点抽出処理により腐食の激しさを相対的に抽出できた理由を考察する。腐食表面画像において，黒褐色の領域は茶褐色の領域との輝度の勾配が大きいことから，特徴点抽出処理を用いることで黒褐色の領域近傍は特徴点として抽出される。さらに，さび表面の黒褐色の「模様」は円や四角形のような幾何学的形状ではなくランダム形状であり，3・1節で言及したように腐食が活発である領域ではさび表面の凹凸が大きくなることで複雑な黒褐色の「模様」となっている可能性があることから，その輪郭が鋭利な角度の「角」と認識される割合が多くなると考えられる。そのため，腐食表面画像に対する特徴点抽出処理により導出された特徴点の強度とさび層下の腐食の進行具合が比較的対応したと考えられる。特徴点抽出処理は，輪郭抽出処理では本質的に不可能であったさび層下の腐食深さの相対的判断が可能であり，さび落とし前の表面写真から非破壊的かつ高精度な腐食寿命診断に応用できる可能性があることが大きな利点である。
しかし，試験片上部で見られる腐食の比較的進行している領域については，前処理ありの特徴点抽出処理を用いて抽出することができなかった。抽出できなかった要因として3つ考えられる。1つ目の要因は，画像の前処理で輝度を抽出したときに，画像の明度により広く黒色部として変換され，適切な輝度の勾配が得られなかった可能性である。2つ目の要因は，撮影時に試験片上部の焦点がずれていた可能性である。焦点がずれることで画像中の隣り合うピクセルにおける輝度の勾配が小さくなるため，特徴点強度が小さく測定される。これらについては，写真撮影時の明るさや光源の種類，試験片の角度調整等，適切な写真撮影の環境を整えることで腐食の進行している領域の抽出精度が向上すると考えられる。3つ目の要因は，種類の異なる腐食生成物が表面に混在し，画像の輝度情報のみで識別できなかった可能性である。腐食生成物の種類によって色調は異なり，色調変化の見えづらい腐食生成物は輝度の勾配が検出されづらくなる。これは腐食生成物固有の色調による問題であるため，画像の輝度情報のみを用いる特徴点抽出処理で対応することは難しく，本手法と機械学習等を組み合わせた処理が必要であると考えられる。
また，長期間大気暴露による腐食試験片に対する本手法の適用については，様々な腐食生成物による複雑な色調，激しい凹凸による陰影，撮影時の焦点調整の難しさ等，多くの困難があると考えられる。画像の色調情報を含めた機械学習や深層学習の活用，適切な写真撮影条件の設定等により腐食の進行している領域の抽出精度を向上できる可能性があり，今後の検討課題である。
本研究では，学習なしで腐食外観画像からさび層下の腐食診断をすることを目的として，炭素鋼に対し乾湿繰り返し試験を行った腐食試験片の外観写真に対する輪郭抽出処理および特徴点抽出処理により腐食の進行している位置の特定を試みた。得られた結果は以下の通りである。
（1）腐食表面画像に対し適切なしきい値を設定した二値化による輪郭抽出処理を用いることで，腐食の進行している領域をある程度抽出できることを示した。しかし，腐食進行領域を抽出するための適切なしきい値は画像により異なること，また設定したしきい値で画像が2つの領域に大別されるため腐食の進行を相対的に表す指標とはならないことがわかった。
（2）腐食表面画像に対しHSL変換による輝度の抽出とヒストグラム平坦化を施し，特徴点抽出処理により得られる特徴点強度を用いることで，さび層下の腐食の進行を相対的に抽出できることを示した。腐食が深い領域において黒褐色の腐食生成物が生成されていたこと，黒褐色近傍における輝度の大きな勾配，および黒褐色領域の鋭利な「角」が高強度の特徴点として検出されたことから，腐食の進行している箇所を抽出できたと考えられる。
（3）一部，腐食の進行している領域を抽出できない箇所があった。光量や焦点等の写真撮影時の条件や腐食生成物の種類による色調の違いが原因と考えられる。精度の向上のためには，適切な撮影条件の確立や機械学習，深層学習を組み合わせる必要があると考えられる。
本研究の遂行に関する利益相反は無い。
本研究に用いた試験片は「インフラ劣化診断のためのデータサイエンス」研究会から提供された。
