計測・制御・システム技術
鋼管表面の熱間における凹凸欠陥検出を目的とした「ツイン投光差分方式」の開発
キーワード:
steel surface inspection,
automated inspection,
vision-based system,
defect detection inspection
2018 年 104 巻 1 号 p. 11-17
詳細
2018 年 104 巻 1 号 p. 11-17
In optical surface inspection of steel products under hot conditions, overdetection caused by signals from harmless features such as scale and surface texture is usually a problem. Therefore, the authors proposed a new inspection technique called the “twin-illumination and subtraction technique,” which is able to remove only harmless signals, based on the finding that most harmful defects on these products have concave shapes, whereas most harmless features that might be overdetected have flat or convex shapes. As an application of this technique, after laboratory tests to confirm its effectiveness, we set up a prototype system for hot pipes which have poor surface properties. Although harmless signals from flat surfaces could be removed as expected, harmless signals from convex surfaces such as peeling scale and micro-surfaces which cause specular reflection conditions remained in addition to harmful signals from concave defects. To improve detectability, we introduced a discrimination method based on the characteristic bright/dark patterns of concave defects, a detection and decision tree judgment function using features from images and so on. At present, the installed prototype system presents information concerning detected defects to operators. As a result, we have confirmed that the system has sufficient performance for prevention of large outbreaks of nonconforming products and is an effective technique for detection of poor surface condition.
鉄鋼製品における表面検査は，品質保証の観点で非常に重要である。近年，特に薄板分野において，様々な工夫によりオンライン表面検査の自動化が進んでいる1,2,3)。例えば，連続めっきラインや連続焼鈍ラインでは，偏光光学系を利用した表面検査装置による欠陥の自動検出が実現されており，欠陥部をマーキングして出荷することなどで品質保証を実施している。
その一方，鋼管などの分野における表面検査に関しては，現状オペレータによる目視検査が主流であり，自動検査の実用化には至っていない。薄板の表面検査と比較した場合，実用化への最大の課題として，スケールや表面模様などの表面性状の悪さに起因する過検出要因と有害な欠陥との弁別が困難であることが挙げられる。
特に，熱間状態の鋼管の表面検査手法はほとんど報告例がなく，渦流探傷方式4) と数例の光学的手法が発表されている程度である。しかしながら，渦流探傷方式の適用にはリフトオフを小さくする必要があり，また熱間状態の適用には耐久性に課題があるため，実用化には至っていない。
一方，光学的手法に関するいずれの報告も実用例ではない。まず鋼管の周方向に対して光切断方式を適用して形状を測定し，欠陥を検出する方式5)が提案されている。しかしながら，光切断方式では曲面である鋼管の外径変化やパスライン変動に対する光学系のアライメントに課題があり，鋼管圧延ラインへの適用は困難である。
また，熱間で圧延された棒鋼に対して周方向に光源とカメラを設置し，波長フィルタを通して照射光の反射画像を取得し，周波数解析により欠陥を検出する手法6)も提案されているが，全周全長においてスケールに覆われた対象に対して，単なる閾値処理による検出をしているにすぎず，重度の欠陥しか検出することができない。
さらに，対象の自発光を撮像し，欠陥部と健全部の輝度差から欠陥を検出する自発光測定方式による光学的手法7)も試行されているが，同様に赤熱した鋼管の表面に多く発生しているスケールが過検出要因となり，信号が強い重欠陥以外での適用は難しく，実用化には至っていない。
それに対し，筆者らは，このようなスケール等の過検出を解決する全く新しい光学検査技術である「ツイン投光差分方式」を考案した8)。
本論文では，本方式の原理を説明し，サンプル試験による有効性の検証について報告する。さらに鋼管の熱間表面検査のためのプロトタイプを実ラインに設置し，熱間における欠陥の検出に極めて効果的であり，実運用も可能な結果を得たことを報告する。
熱間における鋼管の表面検査において，対象の表面性状が悪いために発生する大量の過検出の弁別が非常に重要な課題となる。筆者らは熱間において欠陥と過検出要因であるスケールを観察した知見から，欠陥は凹であるのに対し，スケールの多くは平らであることに着目し，欠陥とスケールを弁別する「ツイン投光差分方式」を提案した。本方式の模式図をFig.1に示す。
Twin-illumination and subtraction technique.
鋼管表面に対し左右から光源により照射したとき，スケールの形状は平らであるため，光源方向による撮像画像に陰影の違いは見られない。一方，欠陥部の形状は凹みであるため，光源方向により陰影のつき方が異なる。そこで，両画像の差分を計算することにより，陰影の違いのないスケールが消え，欠陥部のみ信号が残ることが期待される。
上記原理を確認するためにサンプル試験を実施した。サンプルは鋼管製品の自然欠陥が発生した部位を切り取ったものであり，表面性状が悪くさらにペインティングされたものである。照射角は45°とし，冷間状態のサンプルに対し本方式を適用した。得られた画像および差分結果をFig.2に示す。図上側に位置する2枚の画像に示すように左右どちらか片方からのみ照射し，反射光を受光した画像では欠陥部の識別は困難である。一方，両画像間において差分処理を実施した画像を，図下側に示す。平らな表面性状の信号がキャンセルされ，凹凸の陰影部のみ検出可能となり，本方式が過検出対策に有効であることが示された。
A result of laboratory experiment in cold condition.
本論文では，提案方式を実ラインに適用し，表面性状の悪い赤熱した鋼管の外面全周全長表面検査を実現することを試みる。検査の目的は連続性の表面欠陥を早期に検出し，オペレータにフィードバックすることにより不合格品の大量発生を防止することである。
鋼管における表面欠陥とは，製品の製造工程において表面に発生する深さを持つ有害な凹みである。有害な凹みは手入れ工程が発生したり，保証肉厚公差を維持できず不合格となったりして，直行率や歩留まりを悪化させる。これらの表面欠陥はロールの焼きつき等の発生原因を修正しない限り，連続的に発生する場合が多い。したがって，欠陥の発見が遅れると不合格品の大量発生につながるため，熱間における欠陥の早期発見は非常に重要である。
上記背景から，本検査の目的は，検査装置により検出した欠陥の画像や位置などの欠陥情報をガイダンスすることにより，連続性欠陥を早期発見できるようオペレータをアシストすることである。そのため，表面検査装置の有害欠陥の検出率や過検出率は，ガイダンスによる運用が成立する程度の目標値を設定した。
対象欠陥はFig.3(a)に示すような開口性かつ凹形状の欠陥とする。Fig.3(b)の非開口性の欠陥については，素材性起因が多く，不合格品の大量発生時にアクションをとることが困難であるため，検出対象からは除くこととした。
The profile of defects (Cross-section view).
本方式を鋼管に適用するにあたり検討した光学系をFig.4に示す。まず鋼管の搬送方式として，主に周方向に転がりながら搬送される横パスと，ロールにより長手方向に搬送される縦パスが挙げられる。横パス中の鋼管外面全面を検査するためには，長手方向にカメラを必要台数並べる必要があり，設備コストが多大となる。そのため，縦パス中の鋼管に対して設置するのがよい。また，照射方向は長手方向に沿った方向とした。長手方向からの照射の場合，照射方向に対して垂直な方向の斜面の傾き成分，すなわち周方向への斜面の傾きに対しては感度を持たないが，実際に発生する対象欠陥の大部分が長手方向に斜面を持つため，長手方向のみの照射で問題ない。なお光源の照射角は，熱間でのエンジニアリングを考慮し，リフトオフを確保するため45°とした。
The configuration for pipe inspection.
前記光学系条件の下，欠陥検出性能を鋼管サンプル表面に加工した人工欠陥により評価した。欠陥形状をFig.5(a)に，試験を行った欠陥の位置をFig.5(b)に示す。対象表面からの反射光量は入射角と表面の鋼管長手方向の傾きに依存するため，健全部と比較し照射方向に傾きを持つ人工欠陥を，斜面の角度θを変化させて鋼管サンプル上に作成した。また，鋼管上の欠陥位置に関しては正面からの周方向への角度移動量φとして変化させた。なお，欠陥加工部の表面性状は鏡面性が高く健全部と異なるため，熱処理を行うことでスケールを付着させ健全部に近づけた。
The detectability of defects by changing depth and position.
その結果，得られた差分画像をFig.5(c)に示す。欠陥の斜面が大きく，欠陥の位置が正面であればあるほど欠陥信号が強く，θが10度以上の斜面を持つ欠陥は正面からφが60度変化した位置においても3.0以上のSN比となることが確認され，凹み形状の欠陥が検出可能となる見込みを得た。
前章で得られた良好な結果を踏まえ，本章では実際に実ラインへ適用する方法について述べる。本方式は，対象に対して一方から光を照射し撮像した画像と，もう一方から光を照射し撮像した画像を，画素単位の位置ずれを発生させることなく別々に取得することが必要である。しかしながら，単純に光源を切り替えて2回の撮像に分けて画像を取得し，後から平行移動などの画像処理により位置合わせする方法では，レンズ収差による歪みや2枚の画像間における移動量のばらつきなどがあるため，画素単位で位置合わせを実施することは現実的に困難である。そこで上記課題を解決し，搬送中の物体に適用するための光学手法として新たな撮像法を提案する。
まず，フラッシュ光源などの非常に照射時間が短い光源が照射したタイミングに合わせて撮像する。その照射と撮像が完了した直後に，さらに連続してもう一台のフラッシュ光源が照射したタイミングで撮像することが可能なカメラを用いて，2組の光学系の撮像をほとんど遅延なく実施する方法である。具体的なタイミングチャートの例をFig.6に示す。なお，連続して2枚以上高速に撮像可能なカメラとしては，高速度カメラを用いてもよいが，プリズムやビームスプリッターを用いて厳密に位置合わせされた2組のカメラを用意し，それぞれの光源の照射に合わせて別々に露光することによってもよい。また，あらかじめ厳密に位置合わせされた2枚のCCDセンサを組み込み，それぞれのCCDセンサの撮像を別々に制御可能な仕様の2CCDカメラを用いることにより，アライメントが容易となる。
Timing chart of the time-separation method.
本撮像法を用いた場合，例えばフラッシュ光源の照射時間を100 μ秒，カメラ解像度を1.0 mm/画素，対象の搬送速度を1.0 m/秒と仮定すると，2回の撮像はわずか0.1画素分のみしか移動せず，ほぼ位置合わせされた状態で2方向からの照射画像が取得できる。したがって，搬送ライン上における移動対象に対し，ツイン投光差分方式が適用可能となる。
3・2 プロトタイプ設計実際に圧延された熱間状態の鋼管に対して確性を行うため，実ラインに鋼管の全周全長を検査するプロトタイプを設置した。光学配置とシステムをFig.7に示す。鋼管外面の全周を測定するため，周方向を3分割しそれぞれの領域を上流・下流から照射して差分を取ることとした。また，対象となる鋼管が，検査範囲と同一の距離を移動するごとに，各方向3組のツイン投光差分処理を順番に実施することにより，全長検査も実現した。各フラッシュ光源は，それぞれの発光が互いに干渉しないよう設計されたトリガー信号によって制御され，各CCDセンサはそれぞれの発光に合わせて撮像するトリガー信号が与えられる。プロトタイプでは，2CCDカメラを用いて位置合わせにより前述の撮像法を実現した。本撮像法は照射時間が非常に短いフラッシュ光源を用いるため，搬送中のばたつきや振動の影響による画像のブレを排除するといった効果もある。
The configuration of prototype system.
なお，熱間での検査であるため，カメラの前に赤外カットフィルタを設置することにより，鋼管の自発光成分を除去し，フラッシュ光源の反射光のみ受光するようにした。
得られた画像は3方向の各2CCDカメラにそれぞれ1台ずつ接続された画像処理用PCにより，次章で述べる欠陥検出のための画像処理アルゴリズムに従って処理される。
プロトタイプで得られた画像例をFig.8に示す。サンプル試験時と異なり，視野内の中心部以外の位置で入射角，反射角の違いにより光学系が異なることから，左右の照射で異なる光量むらが発生した。このため，単純に差分を取っただけでは光量むらの成分が除去できず，閾値処理による欠陥の検出を阻害することが予想される。そこで上記光量むらを除去し，精度よく欠陥を検出可能な画像処理アルゴリズムを開発した。処理フローをFig.9に示す。
The raw images from prototype system.
The flow of image processing algorism.
まずエッジ検出により鋼管と背景の境界を算出して検査範囲を確定する。その後2枚の画像それぞれに対して光量むらを除去するシェーディング補正を実施する。シェーディング補正とは，画像から地合いとなる輝度むらを除去する処理である。一般的な画像処理において，光量むらは欠陥部の信号に対して，低い周波数成分となるため，ハイパスフィルタがよく用いられる。得られた処理結果を示す画像と差分画像をFig.10に示す。補正後の画像において光量むらが除去されていることが確認できる。Fig.10からわかるように，差分画像では，模様やスケールなどの表面性状起因の信号が明確に除去されている。
The result of shading correction and subtraction.
さらに，得られた差分画像から閾値処理により欠陥部を抽出する。プロトタイプから得られた差分前と差分後の画像の例をFig.11に示す。ノイズの多い表面に対して，差分を取ることにより，過検出となるスケールや表面性状の信号がキャンセルされ，凹凸形状を持つ欠陥部のみ閾値処理により検出可能となる。
The effects of subtraction processing.
差分処理の狙いは平らな面による信号をキャンセルし，凹部分の信号のみ検出することである。しかしながら，確性を進める中で，無害なスケールが剥がれて凸形状を持ち，2方向からの照射により見え方が異なるため，差分により除去されないといった例も存在した。
有害な凹形状の欠陥，無害な凸形状であるスケール剥がれ，斜面が正反射条件となった微小なスケール剥がれの差分画像と特徴をFig.12に示す。観察の結果，凹み形状を持つ欠陥は照射側が暗部となり，スケール剥がれでは照射側が明部となるため，明暗のパタンが逆向きになることが判明した。さらにその中で，スケール剥がれが1方向からの照射に対して鏡面反射条件となる場合，地肌に対して非常に強い反射となり，差分画像内でキャンセルされず，強い明または暗の信号となるケースも確認された。この場合，小さいスケール剥がれ部分の面積が，差分画像内では微小な強い信号となる。
Subtraction images obtained from prototype.
これらの凸形状のスケール剥がれ等からの信号は過検出要因となるため，欠陥と弁別する必要がある。そこで，前述の明暗のパタンを，明部と暗部を3値化閾値処理により検出し，それぞれの位置関係を算出することにより，凹み形状を持つ欠陥のみ検出するロジックを考案した。すなわち，スケール剥がれ等の凸形状起因の信号は，明暗の位置が凹形状起因の信号と逆になる，あるいは明または暗の強い信号であることを利用して弁別する。本ロジックでは左側照射画像から右側照射画像を差分しているため，左側が暗かつ右側が明となる位置関係のパタンを画像処理によって検出することにより，単純に明部あるいは暗部を閾値で検出した場合と比較し，飛躍的に過検出を低減させることが可能となった。
4・3 特徴量を用いた欠陥弁別前章で提案したアルゴリズムにより，差分画像から凸形状であるスケール剥がれ等の無害な信号を除去し，凹形状の欠陥のみ検出可能となった。実際にプロトタイプにより取得した画像に適用した結果，凸信号や微小面に起因する信号の大多数は除去されたが，なおFig.13に示すような明暗のパタンをもつ過検出信号が検出された。このような過検出信号の多くは表面性状が悪い対象で発生し，多数のスケール剥がれ等の信号が偶発的に隣り合うことで，欠陥と同様の明部と暗部の位置関係に起因することが判明した。Fig.13(a)に示す欠陥信号とFig.13(b)に示す過検出信号を比較すると，それぞれ特徴があり，ある程度目視で弁別可能である。そこで，通常の表面検査装置でよく用いられている画像から算出した面積，幅，長さなどの数値化された特徴量を用いた二分決定木識別機による機械学習9)を適用することで，欠陥信号と過検出信号を弁別した。
The dark-blight patterns in subtraction images.
設置したプロトタイプと画像処理ロジックを用いて，検出性能を評価する確性試験を実施した。連続して発生する有害欠陥を抑止できる程度に検出可能となる条件で，単純な投光方式，差分処理，明暗パタン認識，特徴量による欠陥弁別を順次適用した時の過検出状況の推移をFig.14に示す。鋼管表面は非常に表面性状が悪く，既存の単純な投光方式では鋼管1本あたり1000箇所以上の過検出信号が発生し表面検査が成立しないが，提案手法を適用することにより10本につき1箇所程度と顕著に低減することが可能となった。
The transition of over-detection numbers per pipe in each processing step.
上記検出性能を持つプロトタイプを用いて，不合格品の大量発生防止の効果を確認するためにオペレータへの欠陥情報の提示を実施した。欠陥検出時に画面上の表示と音によるアラームで提示し，オペレータは欠陥発生状況を把握することが可能となる。欠陥のある鋼管の割合が一定以上の場合は，不合格品の大量発生につながる恐れがあるため，ラインを一時停止しロールの焼き付きや圧延条件などの原因を特定し除去することによって欠陥の発生を抑制する。
本プロトタイプの試験的な導入とオペレータへのガイダンスにより，連続性の開口性外面欠陥を長期間にわたって抑止し，熱間状態の鋼管に対して提案方式を用いた表面検査が不合格品の大量発生防止に有効であることが検証された。
本研究では全く新しい光学的検査方式であるツイン投光差分方式を提案し，従来方式では困難であったスケールや表面模様といった過検出要因の中における表面検査を実現した。また，実ライン適用の一例として継目無鋼管において，熱間で凹み形状を持つ欠陥を検出することを目的としてプロトタイプを設置した。得られた画像から自動的に欠陥を検出する画像処理アルゴリズムを開発し，良好な結果を得た。さらに，検出結果をオペレータに提示し，欠陥発生時にアクションを取ることよって，実際に開口性の外面欠陥起因の不合格品の大量発生を防止することが可能であり，本方式を用いた表面検査装置が優れた有効性および実用性を持つことを示した。
ツイン投光差分方式は，本論文に記載した適用事例である鋼管の熱間表面検査以外の鋼材表面にも幅広く適用可能である。今後のさらなる展開として，熱間における形鋼，スラブ等の表面性状の悪い鋼材に関しても同様に凹凸欠陥を自動検出するニーズがあり，本方式の枠組みが適用できる可能性が高いと考えられる。また，本方式をさらに有効に活用するために，適用先の検討と同時に物理的な反射特性を考察し，検査対象に対して最適な光学設計手法を確立していくことが今後の課題である。
