Regular Article
Development of Defect Detection Algorithm for Surface Inspection System Using Twin Illumination and Subtraction Technique
2024 Volume 110 Issue 8 Pages 590-602
Details
2024 Volume 110 Issue 8 Pages 590-602
Surface inspection of steel products is very important for quality assurance. Many automatic in-line surface inspection systems using the camera technique have already been installed in sheet production lines. However, automatic surface inspection of steel products such as steel pipes and thick plates has not advanced because the entire product surface is covered with uneven mill scale, and it is difficult to distinguish the pattern of the mill scale from defects with concave-convex shapes in images of the camera.
The authors developed a new surface inspection system using the twin illumination and subtraction technique, which emphasizes only concave-convex defects while canceling the pattern of the mill scale covering these types of steel products. An optical approach to enhance the detection performance of this system was already reported in connection with the development of a steel plate surface inspection technology. This paper discusses the development of a new image processing technique to detect defects from obtained images in order to satisfy the conditions of introducing automatic inspection systems at steel production lines. Concretely, a high-speed bright-dark pattern detection algorithm using expansion and conjunction processing was developed, and improved the processing speed by 22.6 times relative to the conventional simple method. An effective new original feature, overlap ratio of bright parts, was also developed, resulting in a 5.15% improvement in the classifier concordance rate relative to that without the proposed features. The developments described above have realized automatic surface inspection systems suitable for introduction in steel production manufacturing processes.
鉄鋼製品における表面検査は，品質保証の観点で非常に重要である。表面検査は一般的にカメラによる光学的手法が用いられており，薄板製造ラインでは様々な工夫による表面検査技術が確立されオンラインでの検査自動化が進んでいる1,2,3)。例えば，薄板の連続めっきラインや連続焼鈍ラインでは，ラインセンサカメラとライン光源を利用した表面検査装置で欠陥を自動検出し，欠陥部をマーキングして出荷することで品質を保証している2)。
その一方で，建造物やエネルギー輸送用配管などに用いられる鋼材（鋼管や厚板など）の製造ラインでは，長い間，検査員による目視検査が主流であった。表面検査の自動化が進まなかった理由は，「鋼材表面にある黒皮による模様と見つけたい欠陥の区別が難しい」という点にある。鋼材は，その表面を不均一な厚みをもつ黒皮と呼ばれる酸化膜で覆われている。薄板では酸洗と呼ばれる工程で化学洗浄処理により黒皮が除去され，表面外観が均一化されるため画像検査時の欠陥検出に影響しないが，鋼材では酸洗工程が無く黒皮は付着したままで出荷される。そのため，鋼材については画像上では欠陥なのか黒皮による模様なのかが判別が難しい。また，①製造ラインで搬送される時の鋼材の振動が大きい，②表面温度が高い，といった検査装置の環境エンジニアリングのハードルの高さも自動化が進まなかった理由である。
しかしながら，鋼材の製造ラインにおける目視検査は過酷な作業であることから自動化が強く望まれていた。また，自動化されることで検査の属人性を解消し，安定した欠陥検出性能も期待できる。したがって，黒皮鋼材の自動表面検査は強いニーズがありながらも，長年の課題であった。
検査対象となる黒皮鋼材表面を撮像し得られた画像から欠陥のみを精度よく検出する画像処理に関しては，数多くの研究が報告されていた。主な事例として，欠陥を検出するための閾値を統計的に決定する技術4,5)や周波数解析により欠陥の信号を強調する技術6,7,8)，欠陥と無害部位を弁別するために画像から特徴を抽出する技術9,10,11)，欠陥と無害部位に対し機械学習を用いて構築した判定器により弁別する技術12,13)などが挙げられる。
これらの画像処理技術は汎用性が高く，光学系に依存せず適用可能なものが多い反面，単純に鋼材表面を撮像して得られた画像に適用するだけでは欠陥検出性能に限界があった。酸化膜の模様や欠陥は多種多様な形態を持ち，単純な画像からの情報だけでは区別できないことが多いためであり，さらなる欠陥検出性能向上のためには光学系も組み合わせた最適な手法を検討する事が望ましい。
光学系に関する研究事例としては，厚板を対象にラインセンサカメラのスキャンに合わせて，2方向から光源の照射光を切り替えることにより傾き成分を縞としてとらえ，周波数選択フィルタで縞部分の凹凸のみを検出する方法が発表されている14,15,16,17)。この方式は，ラインセンサカメラを用いているため搬送時に厚板が振動することにより瞬間的に光学系が変化して欠陥画像の見え方に影響を与える，ライン照明を高速パルス点灯させているため光量確保が難しく光学設計の自由度が小さい，などといった光学系の課題が存在した。さらに複雑な処理により，計算コストが大きい，結果画像が直感的に解釈しにくいなど，演算上にも懸念があった。
筆者らは，前述の課題に対し黒皮鋼材に特化した新しい表面検査方式である「ツイン投光差分方式表面検査装置」を開発した18)。この装置は，2方向から別々に光を照射して得られた2画像の差分を取ることを特徴としている。2方向からの照射に対し見え方が同一となる表面模様を差分により画像から除去し，見え方の異なる凹凸欠陥のみ強調して検出することが可能となる。ツイン投光差分方式表面検査装置はすでに鋼管や厚板19)の製造ラインに導入されており，搬送中の鋼材の対象表面を検査することで品質上問題となる凹み疵の流出防止に貢献している。
この新たな検査原理の発案から実際の製造ラインで実用可能な検査装置まで至るには様々な課題とアプローチが存在した。例えば，搬送中の鋼材で画素単位以下の位置ズレで同一位置を撮像するために光源を切り替えながら高速に2回撮像する光学系や，差分後の画像から凹み疵のみを検出するための基本的な画像処理アルゴリズムなどを開発してきた18)。さらに，欠陥部を強調する差分において最大限の効果を得るための光学条件の導出など，欠陥検出性能を高めるためのハードウェア的なアプローチも報告している20)。
本論文では，ツイン投光差分方式の適用に際し高速に搬送される製品を撮像して得られる高分解能の画像に対しても遅れなく欠陥検出処理を行い，かつ欠陥検出性能自体もさらに高めることを目的とし，得られた画像から欠陥を検出する新たな画像処理技術の開発について論じる。
ツイン投光差分方式はFig.1に示す通り2方向から光を照射して差分を取ることで凹凸欠陥のみ強調する原理である18)。厚板などの鋼材では鏡面性などのミクロな表面性状が変化することによる反射特性の違いはほぼ無害と考えてよく，ここで述べる凹凸欠陥とは欠陥部が平坦部と比較して0.2 mm以上の深さや高さを持つ欠陥とした。製造ラインに導入した表面検査装置のハードウェア構成は，検査対象となる鋼材表面を正面から撮像するエリアカメラと，その両側に配置し鋼材表面に光を照射する2台のフラッシュ光源である。検査では2台のフラッシュ光源を用いて鋼材表面に2方向から光を高速に切り替えながら照射し，エリアカメラによりそれぞれの反射光を別々に撮像することでほぼ位置ズレの無い2枚の画像を得る。この2枚の画像から欠陥を精度よく検出するための手法が提案されており18)，基本的な画像処理フローの概要（Fig.2）について説明する。
Principal of the twin illumination and subtraction technique18). (Online version in color.)
Overview of image processing flow for detection of defects.
まず得られた2枚の画像には視野内において光学条件の違いによる輝度むらが発生しているため，むらを取り除くシェーディング補正処理を行ったのち両画像を差分することで1枚の差分画像を得る。差分画像内では，凹み疵は光源の照射方向に対応し常に決まった相対的な位置関係を持つ明部と暗部が隣り合った明暗パターンとして発生する。さらにFig.3に示すように凸形状の場合は凹形状と差分画像上での明暗パターンは反転する18,21)。これは照射方向に対して，凸形状は手前側が明るく光り奥側が影になるのに対し，凹形状は手前側が影になり奥側が明るく光るためである。したがって，凸形状と凹形状を示す明暗パターンを欠陥候補部として選択的に抽出することで，それ以外の信号と区別して検出できる。さらに抽出した欠陥候補部に対し，機械学習を用いて構築された判定器により欠陥か無害な部位かの判定を行い，欠陥と判定された箇所を検査結果として出力する。なお，明暗パターンを用いた方法以外にも，異なる2方向から得られた画像の濃淡から傾き分布を求め，積分することで対象表面の形状を算出する手法も存在する22)。しかしながら差分後の画像においても欠陥信号以外に強いノイズ信号が発生しているケースもあり，累積誤差により得られた形状から欠陥部の検出が難しいため，二値化と閾値により局所的な明暗パターンのみに着目する手法を検討した。
Subtraction images obtained from prototype18). (Online version in color.)
前節の基本的な欠陥検出アルゴリズムをベースとし，安定動作し高い欠陥検出性能を持つ表面検査装置を製造ラインで実現するための必要条件について考察する。
第一に，画像処理アルゴリズムを処理装置に実装したときに必要な計算時間が挙げられる。鉄鋼プロセスでは，高速に搬送される巨大な製品上の微小な欠陥を検出しなければならない。例えば，厚板製造ラインでは最大板幅約5 m，最大板長約30 mの製品を製造しており，検査装置の設置位置を剪断後とすると製品は最大約2 m/sで搬送される。これらの厚板は数十秒サイクルで連続的に搬送されるため，前の厚板の画像データの処理が完了しないと未処理の画像データがストレージ上に蓄積され続けていきオーバーフローする。さらに数mm程度の大きさの欠陥を検出しなければならず，検出に必要な分解能を考慮すると画像サイズが膨大となることから，オーバーフローを防ぐには高速な処理が要求される。
第二に，欠陥検出アルゴリズムを適用した時の検出性能が挙げられる。表面検査装置として運用するためには，欠陥の見逃しを防ぐために検出率を高める一方で，なおかつ再検査や手入れコストの増大を防ぐため無害部位を誤って欠陥と判定する過検出を抑えなければならない。したがって，得られた画像から欠陥と無害部位を精度良く分類し欠陥のみを検出して検査結果とする必要がある。
上記2つの必要条件を満たす欠陥検出アルゴリズムについて，ツイン投光差分方式の原理原則を踏まえながらさらなる研究開発を行った。
前章で述べた第一の必要条件である画像処理の高速化について説明する。Fig.2に示す画像処理フローの中で，判定を除き最も計算時間に影響を与える処理が明暗パターンの検出である。明部と暗部の位置関係の認識が必要であり，第二の必要条件のために検出感度を上げようとして閾値を下げると，無害な明部と暗部の検出が増加し計算量が増大するためである。シェーディング補正などの一般的な表面検査装置で用いる画像処理と異なり，画像内から明暗パターンを検出する処理はツイン投光差分方式独自のものであるため，処理の高速化も独自のアプローチが必要となる。
最も単純に明暗パターンを検出するには，明部と暗部の各重心位置を比較し，隣り合う関係となっているかどうかを判定することが考えられる。この考えに基づくアルゴリズムの画像処理フローをFig.4（a）に示す。まず明部と暗部をそれぞれ閾値により二値化し，ラベリングによりブロブと呼ばれる明部あるいは暗部の画素の集合を認識する。その後，明部あるいは暗部のブロブに対しそれぞれの重心位置を算出，各ブロブの重心位置の関係を精査する。検出する明部のブロブと暗部のブロブの重心座標の位置関係は凸形状と凹形状で反転するが，ここでは凹み疵を表す明暗パターンの順に隣り合う条件を満たすものを欠陥候補部として検出する。Fig.4（a）に示すアルゴリズムでは，全てのブロブに対しラベリングによるブロブの認識，重心位置算出，比較評価が必要となり，ブロブの数が増えるほど二乗のオーダーで比較評価の計算量が増加する。そのため信号が小さい明暗パターンを検出しようとして感度を上げると，処理が間に合わないリスクがある。
Image processing flow for bright and dark pattern detection.
また，フーリエ解析やガボールフィルタなどの周波数フィルタ6,7,8,23)を用いて明暗のパターンのみ強調し，その後閾値処理により明暗パターンを抽出する方法も考えられる。しかしながら，明暗のパターンとなっていない無害箇所の信号が強く出てしまう場合はフィルタ処理では十分信号を弱めることができず過検出となる懸念がある。そこで，効率よく明暗パターンのみを抽出し高速な表面検査を実現するための新たなアルゴリズムを提案する。なお，以下凹形状の欠陥検出について説明するが，凸形状の欠陥も検出すべき明暗を逆転させるだけで同一の画像処理を適用することが可能となる。
3・2 膨張処理を用いた明暗パターンの高速検出前述の明暗パターン検出の課題を解決するために，膨張処理と明部および暗部を検出した2枚の二値化画像の重なり部分を抽出する論理積演算を組み合わせた新しい明暗パターン検出アルゴリズムを開発した。開発したアルゴリズムの画像処理フローをFig.4（b）に示す。まず閾値による二値化を差分画像に適用し，明部を抽出した明部二値化画像と暗部を抽出した暗部二値化画像の2枚の画像を得る。凹みを表す明暗パターンは照射方向と差分順序により決定されるが，ここでは左から照射した画像から右から照射した画像の差分を取ることとし，凹みは左側に暗部，右側に明部のパターンとなる。その後，明部二値化画像の明部は左側に，暗部二値化画像の暗部を右側に膨張させ，得られた2枚の二値化画像の論理積演算を行う。この処理により凹みを表す明暗パターンは明部と暗部が互いに存在する方向に膨張されるため重なりが生じるが，位置関係が反対となる凸を表す明暗パターンは互いに存在する方向と反対に膨張されるため重なりが生じない。得られた論理積演算後の画像において，残った部位の左側には必ず暗部が，右側には必ず明部があるため，左側に暗部，右側に明部のパターンのみを検出できたことになる。したがって，論理積演算された二値化画像に対してラベリングを行い少数の各ブロブの重心から左右に探索し最初に発見したブロブのみ抽出することで，そのブロブに対応する明部と暗部の特定が可能となる。
全ての明部と暗部の画像に対してブロブの認識，重心位置算出，比較評価を行うFig.4（a）の画像処理フローに比べて，明暗パターンに対応する論理積演算された画像のブロブのみを認識する画像処理フローは，ラベリング処理と判定処理の回数を削減できるため計算量が小さいことが期待される。なお，検出すべき明部と暗部の最大距離を隣接判定距離とすると，重なりを検出するための膨張距離は隣接判定距離の半分となるように設定すればよい。具体的には，表面検査装置において1年以上の試運用期間に収集したほぼ全ての欠陥種を含む200個以上の欠陥画像データをもとに見逃し無く検出できる値に設定した。
3・3 明暗パターン検出の処理速度比較評価Fig.4（b）に示す提案した明暗パターン検出アルゴリズムの優位性を示すために，鋼管製造ラインに設置した表面検査装置により得られた画像を用いて処理速度比較評価を実施した。上流方向である右側，下流方向である左側から別々に照射して撮像した2画像の差分を取ることで得られたFig.5（a）に示すような差分画像を今回の評価に用いることとした。なお処理速度評価のため，差分画像は差分後でも過検出が発生しやすい検査対象の画像を意図的に選定している。今回評価に用いたハードウェア，ソフトウェアの環境をTable 1に記す。
Experimental comparison of the two algorithms. (Online version in color.)
| Items | Specifications |
| CPU | Intel Core i7-12700 (12core, max4.90 GHz) |
| Memory | 32 GB |
| GPU | NVIDIA RTX A4500 |
| Software | Matlab 2022a (Image Processing Toolbox, Parallel Computing Toolbox) Script execution |
| Image format | 966×416 (After pipe region cutting) 8 bit |
差分画像に対し，明部と暗部の二値化閾値を変化させて感度を上げながらFig.4（a）に示す単純なアルゴリズムとFig.4（b）に示す提案アルゴリズムを適用した。検出されたブロブの個数をFig.5（b），Fig.5（c）に示し，それぞれの計算を行ったときの計算時間を比較した結果をFig.5（d）に示す。隣り合う明暗パターンを検出するための重心位置関係の条件は明部と暗部の隣接判定距離を20画素以下，重心位置は上下方向に1.5画素以下となるように設定した。2つのアルゴリズムに対し明暗パターンの検出個数は近い値となるのに対し，Fig.4（a）に示す単純なアルゴリズムでは明暗パターンの5倍以上の明部と暗部の各ブロブに対し互いの位置関係を比較評価しなければならない。明暗パターン1個あたりの検出にかかる計算時間について，各二値化閾値の条件おいて平均計算時間を算出し，条件ごとに得られた各平均時間をさらに平均して評価した。その結果，Fig.4（b）に示す提案アルゴリズムは平均1.0 ms（標準偏差0.5 ms），Fig.4（a）に示すアルゴリズムは平均19.1 ms（標準偏差12.7 ms）となり，処理速度が平均で18.4倍向上する結果が得られた。厚板の表面検査装置において見逃しをなく欠陥を検出するために，処理装置あたり最大1000個の欠陥の候補となる明暗パターンを検出する想定とした。Fig.4（a）に示すアルゴリズムでは仮に閾値を40に設定すると明暗パターンを1000個検出するのに約15.9秒かかった。製品のサイクルタイムは最短20秒程度であり，実際の鋼材では最大どのくらいの数の欠陥候補が発生するかわからないことや特徴量判定などの他の処理に必要な時間，結果統合などに必要なデバイス間のデータ通信時間，不確定要素を考慮すると，できるだけ短時間の処理を選択することが望ましいため，Fig.4（b）に示すアルゴリズムを採用した。実際の検査装置では，欠陥の見逃しが無いよう調整したときに想定通り発生した最大約1000個の明暗パターンに対し，Fig.4（b）に示すアルゴリズムの導入に加えC++言語を用いて高速化を図ることで安定動作を実現することができた。
このように単位時間当たりに大きな面積を高感度で検査しなければならない厚板に対しても，提案アルゴリズムを表面検査装置に適用することで高速に明暗パターンを抽出することが可能となる。提案アルゴリズムは連続的に製造される鋼管や厚板の製造ラインにおける表面検査装置に導入されており，製造サイクルに対し遅延のない表面検査の実現に貢献している。
次に，欠陥検出性能を向上させるための欠陥分類に用いる特徴量について考察する。普及が進んでいる薄板などの表面検査では，カメラを用いて撮像された画像に対し前処理を行ったあとに閾値処理により欠陥候補部を抽出，特徴量を用いた判定器により欠陥候補部の疵種・等級を判定する。疵種・等級の判定には計算量が少なく，比較的理解しやすい構造である決定木などの手法がよく用いられ，これらの判定器は機械学習を用いて構築されることが多い9)。このとき欠陥候補部は前述の明部あるいは暗部に対応するブロブであり，ブロブから判定器に用いる特徴量を画像処理により抽出する。具体的には位置，長さ，幅，面積，ピーク値，明暗の極性，輝度のヒストグラムといった基本的な特徴量から，これらを複合させた長さと幅の比率，近傍の欠陥までの距離，欠陥密集度，周期性といった複合特徴量が用いられることが多い1)。これらの特徴量は，当然のことながら今回開発した明暗パターンの判定を行う前の単一のブロブを対象に設計されているので，明暗パターンに特有の新たな特徴量を設計することは構築した判定器の分類性能向上に直結すると考えられる。ツイン投光差分方式表面検査装置の場合，検出対象が単一のブロブではなく一組の明部と暗部のブロブであるため特徴量の設計には工夫が必要である。そこで，単一のブロブに対する既存の特徴量設計をベースに，ツイン投光差分方式のメカニズムに基づいた明暗パターンに対する新たな特徴量設計を行った。
最も単純な手法として，明部および暗部それぞれのブロブに対して特徴量を算出して結合することが考えられる。そのベースとなる特徴量にツイン投光差分方式の原理に則した有効な特徴量を追加していくことを検討する。
新たな特徴量設計に際し，まずは欠陥と無害箇所に対応する差分画像の考察を行った。厚板を対象とした表面検査装置で検出した欠陥候補部の差分画像のうち，欠陥と無害箇所の画像の例をFig.6に示す。ブロブの形状が理解しやすいように，背景を灰色とし閾値を超えた明部を白，閾値を下回った暗部を黒とした3値化画像も示す。筆者らはこれらの画像を深く観察した知見から，欠陥の画像と無害箇所の画像を分類するための2種類の着眼点を見出した。さらに，欠陥の画像（N＝173）と無害箇所の画像（N＝235）のデータを用いて各特徴量の分類性能を評価した。
Examples of subtraction images (upper) and trinary images (lower) with defects and harmless surfaces on steel plates.
一つ目の着眼点は，明暗パターン内における明部と暗部の類似性である。まず，ツイン投光差分方式で用いる光学系はカメラの光軸を対象表面の法線と一致させ，光軸に対し光源を左右対称に配置している20)ため，照射角や受光角が同一であるのであれば，明部と暗部のブロブは物理的に等しい撮像条件となるはずである。そのため，対象となる欠陥や表面性状に異方性が無く同一の反射特性であれば，明部と暗部のブロブの特徴は類似するはずである。実際Fig.6の欠陥と無害箇所の画像を比較すると，欠陥画像は明部と暗部のブロブが類似しているのに対し，無害箇所の画像は必ずしもそうではないことが見てとれる。これは欠陥では画像内の明部と暗部の発生が凹みという同一の物理現象に起因しているのに対し，無害箇所では別々の原因で発生した明部と暗部が偶発的に隣り合うことが多いためである。したがって，明部と暗部のそれぞれのブロブから算出した特徴間の類似性を表す特徴量が欠陥と無害箇所の分類に有効であると考えられる。
特徴間の類似性を表す代表的な指標として，明部と暗部の同一種類の特徴量のうち，特徴量の大小を比較して小さい方の値を大きい方の値で割った値を特徴量比として定義する。例えば明部と暗部の面積の比が1に近い場合は，明部と暗部はほぼ同一の面積であり，0に近い場合は面積が大きく異なることを示す。代表的な特徴量として，細長さ（楕円近似した時の長軸と短軸の比），円形度を選定しそれぞれの明部と暗部の比を算出，欠陥と無害箇所に分けてヒストグラムで表した結果をFig.7に示す。欠陥は特徴量比が1に近づくにつれ個数が増加傾向にあるが，無害箇所は特徴量比と個数にあまり相関が無いため，特徴量比はこれらの画像を分類するのに有効な特徴量である可能性が高いと考えられる。
Histogram of ratio of representative features between bright and dark blobs. (Online version in color.)
二つ目の着眼点は差分前画像（明暗二値化画像）である。前述の明部と暗部の特徴量比は差分画像における新しい特徴量であるが，差分前の異なる方向から照射した2枚の画像にも，分類に有益な情報が含まれている。例えば，厚板表面検査装置で発生した欠陥と無害箇所の差分前の画像の一例をFig.8に示す。この無害箇所は圧延後に鋼材が冷却された状態で表面がこすれることにより黒皮が剥離して地鉄がむき出しとなった部分（Fig.8（a））である。この地鉄部は品質に影響を与えない程度のごくわずかな凹みであり実際の凹凸を持つ欠陥と区別する必要があるが，反射率が高いため差分前の画像では照射方向によらず明るく光って強い信号となる。そのため，地鉄部は差分を取ることにより欠陥と同様の明暗パターンとなることが多く，過検出となる懸念がある。
Appearance of mill scales peeled part and defect on steel plates.
そのため，地鉄部と欠陥との分類に有効な特徴量を考察する。Fig.8（a）に示す地鉄部は，差分画像では明部と暗部のブロブの特徴も近く，また距離も近いため前述特徴量や明暗間の正規化距離でも分類は難しい。そこで新たに差分前の2枚の画像に着目する。差分前画像では欠陥が照射方向により明るく光る位置が異なるのに対し，地鉄部はどちらも欠陥全体が明るく光っている。したがって，欠陥候補部全体に対して，2枚の差分前画像のどちらも明るく光る部分の占める割合「明部重なり率」を定義する。
明部重なり率を算出する画像処理フローをFig.9に示す。まず前述したように差分画像の明部と暗部のブロブの領域に対して膨張収縮処理を用いて明部と暗部の間を補間した領域を加えることにより欠陥領域を定義する。次に2枚の差分前画像に対しそれぞれ輝度むら補正と閾値処理を適用することで明部が1となる二値画像を生成する。得られた2枚の二値画像の論理積演算を行うことにより，明部重なり領域が1となる二値画像を生成する。最後に該当する欠陥領域と明部重なり領域について，二値画像の該当するピクセルを数えることで面積を計算し，得られた各面積の比を算出することにより明部重なり率を得る。
Image processing flow for calculating overlap ratio of bright parts.
このように算出した明部重なり率は凹み形状を持つ欠陥に対しては小さくなることが期待され，地鉄部は大きくなることが期待される。実際に欠陥と地鉄部において，明部重なり率のヒストグラムを示した結果をFig.10に示す。欠陥部は0.2以下が70%以上を占めるのに対し，地鉄部は0.4以上が60%以上を占めることから，これらを分類するのに有効な特徴量となる可能性がある。
Histogram of overlap ratio of bright parts. (Online version in color.)
4・2節，4・3節にてツイン投光差分方式の原理に則して有効と考えられる特徴量として明部と暗部の特徴量比（細長さ，円形度など）や明部重なり率を提案してきた。各特徴量において，欠陥と無害箇所のヒストグラムからおおよその分類性能が推測できるが，本節ではより定量的な分類性能の評価を目指す。特徴量を用いた決定木による判定器を構築する機械学習手法にはCART25)やC4.526)などが知られており，構築の過程で最も効率的に分岐する特徴量と閾値を算出するために，分岐前後における不純度を定量化した評価が行われている。cを目的変数のクラス数，tを現在のノード，Nをトレーニングデータのサンプル数，niをクラスiに属するトレーニングデータの数とすると，式（1）に示すクラスへの所属確率pを用いてCARTは式（2）に示すジニ不純度IG，C4.5は式（3）に示すエントロピーIHの総和をそれぞれ計算することで不純度の定義としている。ここで述べるノードとは木構造を表現するために必要な要素であり，分岐点を表す分岐ノードである。
| (1) |
| (2) |
| (3) |
すなわち，分岐前後でジニ不純度IGやエントロピーIHの減少量が最大となるような特徴量と閾値を全探索により計算し，減少量が大きいほど効率よく不純度を低減することができる特徴量となる。したがって，本論文で提案した明部と暗部の特徴量比，明部重なり率に加え，表面検査で一般的に用いられる代表的な特徴量である欠陥面積および欠陥信号強度について，欠陥画像と無害部位画像を分類したときのジニ不純度IGやエントロピーIHの前後の減少量を算出して比較評価した。なお，明部重なり率の算出で用いた明部閾値は60とし，欠陥面積と欠陥信号強度は，明部のブロブから特徴量として算出した。
評価結果をTable 2に示す。まず，どの特徴量においてもジニ不純度IGとエントロピーIHとで判定前後の減少量に傾向の違いは確認されず，どちらも特徴量の有効性を示す指標として確からしいと考えられる。
| Position | Feature name | Decrease in Gini impurity | Decrease in Entropy |
|---|---|---|---|
| Traditional | Signal strength of bright blob | 0.041 | 0.062 |
| Traditional | Area of bright blob | 0.083 | 0.133 |
| Proposal | Circularity ratio between bright and dark blobs | 0.048 | 0.073 |
| Proposal | Slenderness ratio between bright and dark blobs | 0.074 | 0.123 |
| Proposal | Overlap ratio of bright parts | 0.137 | 0.234 |
次に提案した特徴量について，一般的な特徴量である欠陥面積と欠陥信号強度を対象として，各指標の減少量を用いて比較評価を行った。明部と暗部の特徴量比の減少量はジニ不純度で0.048，0.074，エントロピーで0.073，0.123の値となり，欠陥面積および欠陥信号強度の減少量（ジニ不純度で0.041，0.083，エントロピーで0.062，0.133）と比較してほぼ同程度の値となった。また明部重なり率の減少量はジニ不純度で0.137，エントロピーで0.234の値となり，欠陥面積と欠陥信号強度と比較して減少量が大きいことから欠陥検出性能がより高められると期待できる。このように，特徴量による分岐前後の不純度の低下を算出することにより，提案した特徴量の分類性能を定量化することができた。
4・5 提案特徴量を用いた判定器の性能評価4・4節では，ジニ不純度IGやエントロピーIHを算出することで特徴量の分類性能を定量的に評価した。本節では，既存の一般的な特徴量に対し提案した各特徴量を追加して実際に判定器を構築し，最終的に分類性能がどの程度向上するかを評価した。評価に用いた条件をTable 3に示す。学習データは前節までの評価に用いたものと同一とし，判定手法にはCART24)を用いた。
| Item | Content |
|---|---|
| Classifier | Binary decision tree |
| Machine learning method | CART (Classification And Regression Tree) |
| Class | Defect, Harmless surface |
| Indicator of division | Gini impurity and Entropy |
| Variation method | K-fold cross validation |
| Evaluation value | Concordance rate of all learning data |
CARTは特徴量を用いて二分決定木を構築する機械学習手法の一つであり，その概要を簡単に説明する。まず学習データを用いて最も効率よく分割できる特徴量と閾値を全探索により決定し実際に分割する。分割して得られた2つのクラスで同様に特徴量と閾値を決定してさらに分割を繰り返し決定木の枝を伸ばしていく。最も効率のよい分割を決定するときに用いられる不純度の指標としては，ジニ不純度IGやエントロピーIHが挙げられる。全ての学習データを正しいクラスに分割するまで繰り返してしまうと過学習となるため，適切に枝刈りを行うことで過学習を抑制している。枝刈りの方法は，分割数をペナルティとして評価関数を作成し，最適化問題として解くことで最適な分割数となるよう分割を抑制する。今回は，分割クラスは欠陥と無害箇所の2クラスとし，K-交差検証法27)を用いて全学習データの一致率を評価した。
次に機械学習や分類に用いる特徴量について説明する。まず4・2節で述べた表面検査で一般的に用いられる位置，長さ，幅，面積，ピーク値，明暗の極性，濃淡などの輝度のヒストグラム，円形度や細長さなどの形状などに関する39種類の特徴量を明部，暗部のブロブからそれぞれ抽出し，計78個の特徴量として評価のベース（ケースA）とした。このベースに対し，ケースAの特徴量に明部と暗部の細長さおよび円形度の特徴量の比を追加したケースB，ケースAの特徴量に明部重なり率を追加したケースCの3ケースの特徴量で学習データの一致率を評価した。なお，明部重なり率は演算の過程である明部検出に用いる閾値を5通り変化させて算出し，5種類の特徴量として追加した。
実際に構築した二分決定木による判定器の分類性能をFig.11に示す。一致率はケースA，ケースBではジニ不純度IGの方が高く，ケースCではエントロピーIHの方が高かった。ケースB，ケースCにおいてジニ不純度IGやエントロピーIHの平均一致率を用いてケースAの結果と比較すると，明部と暗部の特徴量比を追加したケースBでは0.37%，明部重なり率を追加したケースCでは5.15%の向上となった。ケースBでは大きな変化が見られなかったものの，ケースCでは一致率の向上が見られ，明部重なり率が判定器全体の分類性能の向上に寄与していることが検証できた。
Classification performance evaluation results under each feature condition. (Online version in color.)
さらにエントロピーIHを指標として構築した最適な木構造について，大まかな特徴量の種類を用いて表現したグラフをFig.12に示す。木構造の上位に現れる特徴量ほど，分岐時のジニ不純度IGやエントロピーIHの減少量が大きくなるものが自動的に選定されている。Fig.12（a）に示すケースAでは，最適な木構造が複雑なものとなっており，既存の特徴量のみでは多くの分岐が必要であることが分かる。Fig.12（b）に示すケースBでは，明部と暗部の特徴量比が決定木の構造の中に現れており，また決定木自体の構造も簡素化されており，木構造の解釈，調整が容易となった。したがって，ケースAと比較し一致率の向上はあまり見られなかったものの，より少ないパラメータ数で効率的に分類できるようになったと考えられる。同様に，Fig.12（c）に示すケースCでは，追加した特徴量である明部重なり率が木構造の最上位に位置しており，効率的な分割に寄与していることが分かる。
Binary decision trees under each feature condition using Entropy.
以上の結果から，提案した明部と暗部の特徴量比，明部重なり率の導入が一致率の向上や木構造の簡素化に寄与していることが確かめられた。これらの特徴量を表面検査装置の欠陥判定に用いることにより検出率向上や過検出率低減につながり，より信頼性の高い表面検査装置を実現した。さらに木構造の簡素化により分類メカニズムが解釈しやすくなり，判定器のメンテナンスなどの運用が容易となった。
新たな表面検査技術であるツイン投光差分方式の処理速度を向上しつつ欠陥検出性能をさらに高めることを目的とし，筆者らは得られた画像から欠陥を検出する画像処理アルゴリズムの開発を進めてきた。まず，明暗パターンを検出するのに必要な処理速度に対し，膨張処理と論理積演算を組み合わせた高速なアルゴリズムを提案，単純に重心を比較する手法に対し18.4倍の処理速度で欠陥検出を可能とした。また，機械学習を用いた判定器による欠陥判定性能を高めるため，表面検査で一般的に用いられる画像特徴量に加えてツイン投光差分方式の原理に則した特徴量（明部と暗部の特徴量比，明部重なり率）を提案し，CARTにより構築した判定器の一致率を評価した。その結果，明部重なり率を追加することで一致率が5.15%向上することが判明した。また明部と暗部の特徴量比では一致率の向上は見られなかったものの，分岐数が大きく削減され，木構造を簡素化する効果が得られた。
本論文で示した知見や技術をツイン投光差分方式表面検査装置に反映させることにより，処理速度や欠陥検出性能が向上し，信頼性の高い検査の実現につなげることができた。導入した装置は鋼管や厚板の製造ラインにおいて稼働しており，鋼材の表面品質向上に貢献している。
