Regular Article
Real-time Profile Measurement for Reinforcing Bar during Hot-rolling Using High-speed Color Image Processing Camera
2015 Volume 101 Issue 3 Pages 190-197
Details
2015 Volume 101 Issue 3 Pages 190-197
We have developed a new real-time profile measurement for rebar during hot-rolling. We have devised a unique optics combined the width measurement by spontaneous light and the geometry measurement by light section method. And then, we have realized the on-site application experiment by using the developed high-speed color image processing camera. High-speed demand was achieved by applying an FPGA real-time parallel-image-processing circuit to a color image. Moreover, taking advantage of simultaneous measurement of width and profile, we have confirmed the actual technologies, such as center position correction, and oscillating removal technique.
近年，国際的な価格競争の激化や国内電気料金高騰等のため，日本の鉄鋼業には大幅なコストダウン要求がつきつけられている。一方，建築・構造物の安全性担保のため，異形棒鋼の材幅・形状等の寸法はJIS1)規格等で定められており，高精度な寸法を確保しつつコストダウンのための生産性向上を実現するための生産技術が必要である。
異形棒鋼の形状をFig.1に示す。丸棒上に凸形状のリブ・節があり，丸棒直径の材幅値(Fig.1一重下線)の寸法管理に加え，節の高さや間隔，リブ高さや丸棒の真円度等の形状値(Fig.1二重下線)も規定値内に収めて圧延する必要がある。例えばD32では，公称直径31.8 mm，節の高さ1.6~3.2 mm，節の平均間隔の最大値22.3 mmとなる。加えて，圧延ロールに非接触の自由面であるリブの形状をリアルタイムに監視することは，単重異常や上下ロールの隙間調整不良，カリバ位置ズレなどの圧延不具合(Fig.2)を早期発見し，圧延条件の迅速な変更等を行って生産歩留りの向上につながるため，材幅値とともに材の形状も重要な計測値である。
Reinforcing bar. (Online version in color.)
Variation cases of rolling failure.
生産歩留り向上のためには，例えば，異形棒鋼の単重許容値の中でばらつきを最小限に抑える必要があるが，現状単重測定は圧延後の抜取検査となるため，迅速な圧延機調整ができない等の課題がある。圧延途中の材の寸法をリアルタイム計測することで単重ばらつきをタイムリーに抑えることができれば生産性向上につながるが，これを実現するための高価な計測装置2)の導入はコスト面から難しく，また計測速度100 Hzを超える計測装置も実用化されていないため，人手作業による材幅値計測や外観目視検査に頼る現状である。さらに，圧延途中の材の寸法が自動計測できれば，これまでの熟練技術による圧延機調整技能に頼らなくとも，圧延の安定化や材の寸法精度向上が期待され，昨今の技能継承問題解決の一助になる。
本報では，熱間圧延中の異形棒鋼の材幅および形状をリアルタイム計測するための手法を検討し，且つ実用性に考慮した高速形状計測技術について論じる。
圧延工程での異形棒鋼の材幅・形状のリアルタイム計測実現のためには，JIS1)で規定された製品単重に対応する寸法公差を検査可能な空間分解能等の計測性能面での要求仕様(Table 1)達成は必須だが，加えて圧延速度に対応した高速計測や，高温・粉塵や材の振動ブレなど実機適用可能な計測装置にしなければならない。
| Measurement Object | Measurement condition | Requirements specification | Solution | |
|---|---|---|---|---|
| Measurement Resolution | Width of rebar 100 mm | Width resolution 0.1 mm | Camera resolution 1,000 pixels | Sub-pixel processing Resolution 0.01 mm |
| Measurement Rate | Pitch at D32 22.3 mm | Line speed 3.4 m/sec. | Imaging speed 6.6 msec. (150 Hz) | High-speed image camera |
計測精度面では，異形棒鋼の最終製品の直径や節の高さは0.1 mm分解能で管理されており，材料使用量を過不足無く使い圧延して生産歩留りを向上させるためには，圧延途中でも同程度の0.1 mm分解能による工程管理が必要である。例えば圧延上流工程での材幅値100 mmの中間材料に対し，光学計測手法で測定再現性良く0.1 mmの空間分解能を実現するためには一桁小さい画素分解能が必要であり，市販カメラ(1,000 pixelオーダ)の画素分解能では不十分であり，サブピクセル処理3)等の画像処理手法を工夫する必要がある。
計測速度面では，例えば異形棒鋼D32(節の平均間隔の最大値22.3 mm)で仕上圧延工程での材料速度3.4 m/sec.の場合，材の流れ方向には6.6 msec.毎(150 Hz)に節が通過することになるため，節を含めた異形棒鋼の全形状の計測には少なくとも1 kHz以上の高速撮像カメラが必要である。またD10やD16など直径の小さい異形棒鋼では，節の間隔も更に短くなり，材料速度も速くなるため，より高速な撮像が必要となってくる。従来技術の一つにストロボ照明を用い像ブレ無く高速撮像する事例4)があるが，抜けなく連続形状計測を実現するものではなく，高速撮像のための高速化手法を検討する必要がある。
実機適用にあたっては，少なくとも800°C以上の高温で強く自発光している棒鋼に対し，赤から赤外の自発光成分の光を回避した光学系の設計も必要である。計測精度を達成するための材の振動ブレへの対応も必要であり，振動ブレをリアルタイムに補正する工夫についても必要になる。
以上の個別の技術課題に加え，計測精度を上げるために画素数を増やすと計測速度が低下するといった装置全体での技術課題もあり，トレードオフを考慮した光学系，画像処理系の最適設計も必要である。
異形棒鋼の寸法関連の計測・検査項目中，材幅値は最も基本的な計測値として重要である。棒鋼に平行光を照射してその陰影をカメラで撮像し画像処理する投影法5)や，赤熱する棒鋼を倍率変化の無いテレセントリックレンズにより自発光画像として撮像し画像処理する受動型画像処理6)等，従来から様々な取組みがなされているが，高価なテレセントリックレンズ等を使わず容易に設置可能な実用的な計測装置に対する要求も大きい。
本報では，普及した固定焦点レンズによる自発光受動型での材幅計測により，テレセントリックレンズ等の平行光学系を不要とした。また，材の振動ブレによる材幅値変動補正では，後述する形状計測との同時測定により距離補正を可能とした。形状計測によりカメラに対する材の遠近距離の絶対値がわかるため，レーザ距離計等を別途付加することなく，この情報を利用して材幅値の距離補正を行うことができる。
3・2 光切断法による形状計測次に，材幅値とともに材の形状も重要な計測値である。従来技術では，材幅計測の投影法を拡張し，センサ部を機械的に回転させることで全周形状を測定する方法2)や，複数センサを全周全体に配置する方法7)がある。しかしながら材幅計測を拡張したこれら方法では，回転式ならば材の断面形状を同時刻で測定できない問題や，複数センサならばそもそも多数のセンサが設置できず，離散的な形状計測しかできない問題がある。
本報では，材の断面形状を同時一括測定可能な光切断法を用いることで，同時刻での測定と連続的な形状計測を実現した。高温自発光する対象に対して光切断法を適用するために，光切断法のシートレーザは大出力の緑(波長532 nm，出力35 mW)および青(波長405 nm，出力15 mW)を用い，自発光成分の赤から赤外の波長の光を遮断するための赤外カットフィルタ(700 nm以下を透過)を2枚重ねることでS/Nを向上した。
3・3 複合光学系による材幅・形状同時計測固定焦点レンズによる自発光受動型での材幅計測と，緑および青のシートレーザを用いた光切断法による材の断面形状計測を，同時計測するための複合光学系をFig.3に示す。圧延ラインの流れ方向垂直にシートレーザ光源2種(緑，青)を配置し，2本の光切断線および自発光画像を異なる方向からカラーの高速画像処理カメラにより撮像する。従来，材幅・形状をそれぞれ測定するためには2種類の計測装置が必要であったが，この複合光学系を用いることで一つの装置で計測が可能となる。空間的には同一箇所の材幅と形状の情報を波長軸で情報多重化して装置に取込み，後述するFPGAリアルタイム並列画像処理回路で波長毎の個別の画像処理によって情報を分離するものである。
Multiplexing optics.
材の振動ブレは，2種の波長の光切断線情報(緑，青)を同時に取込むことで，材断面方向の振動成分除去が可能となる。Fig.3に示す材の振動方向において，長尺物の棒鋼では振動による位置変化はほぼ平行移動になるため，2種の光切断法での振動による位置変化は同距離になる。一方，材の形状が変化する際は，材の通過とともに徐々に形状変化していくため，2種の光切断法で検出する位置には差異が出る。従い，2種の光切断法で同時計測した位置座標を差分することで，振動成分(=平行移動成分)は除去され，材の形状変化に起因する位置変化成分のみを求めることができる。
この複合光学系を構築する上で，S/N確保の光量バランスを最適設計することは重要である。温度800°Cの材の自発光の発光スペクトルは，波長2.7 μmの赤外をピークに可視光領域にも広がっている。カラーカメラのRGB成分での材の発光輝度比は概ねR:G:B=60,000:300:1となっており，赤外カットフィルタ(700 nm以下透過)を2枚，赤色カットフィルタ(550 nm以下透過)を1枚，合計3枚のカットフィルタを重ねてカラーカメラ受光側に搭載し，RGBの光量バランスを調整した。この複合光学系で撮像した画像例をFig.4に示す。光切断法のG，B画像で多少のコンタミネーションがあるが，それぞれの画像で目的とする光切断線の輝度が明るく撮像できており，GとBで独立した光切断線のピーク検出が可能である。
Real color images by multiplexing optics.
節を含めた異形棒鋼の全形状の計測に向け，1 kHzの高速撮像カメラを実現した。加えて，1 kHzの画像撮像は膨大な画像情報を発生させるため，生の輝度画像をそのままパソコンに転送してパソコン上で各種画像処理を行う一般的な方法は，実用的ではない。更に，複合光学系によるカラー画像はモノクロ画像の3倍情報量が多いため，撮像直後にリアルタイムで何らかの高速画像処理を行って情報量を削減する工夫が必要である。筆者らは，これまでにタイヤ形状8)やトンネル形状9)をリアルタイムに高速画像処理するカメラシステムを研究開発しており，高速撮像と光切断線の座標抽出等の画像処理を同時並列で行うこれら共通的なプラットフォーム基盤技術を，今回カラー画像に適用することで要求される高速化を実現した。
FPGA(Field-Programmable Gate Array)リアルタイム並列画像処理回路のコンセプトを，Fig.5に示す。複合光学系の構成に基づき，1台の高速カラー画像処理カメラで画像撮像する。本カメラのCMOS(Complementary Metal-Oxide-Semiconductor)撮像素子は，隣り合う2×2画素の領域で各RGB成分の画素情報を取得できるものを用いた。FPGA制御回路により，CMOSからFPGAへの各画素の輝度情報の取込みを同期制御する。FPGA制御回路内では，RGBそれぞれをパイプラインで並列処理可能な回路を用意しておき，各色個別の画像処理を行う。処理結果はカメラ内メモリに一時保存した後にパソコンに転送される。パソコンでは，一次計算処理されたデータを最終的な情報に加工して出力する。材幅値であれば棒鋼1本毎のトレンドグラフ表示，形状値では一定閾値を超えた際のアラーム出力などである。
FPGA real time & parallel image processing circuit. (Online version in color.)
各色個別の画像処理の内，R成分の自発光プロジェクション回路(Fig.6)では，画像中の水平1ライン毎に輝度平均値をFPGAでリアルタイムに計算する。パソコンでの後処理にて，画像1枚分の輝度平均値のデータ配列から隣り合うラインで微分値を計算し，材の両端部に相当する最大微分値の両端2点を求め，その間の距離を材幅値として出力する。G，B成分の光切断法サブピクセル回路(Fig.7)では，画像中の水平1ライン毎にピーク位置を探索し，ピーク位置の±N(pixel)の範囲でサブピクセル処理(輝度重み付の重心計算)をFPGAでリアルタイムに計算する。パソコンでの後処理にて，光切断法のキャリブレーション補正値を用いて実座標(mm)変換して材の形状データとする。
Projection circuit of light emission.
Sub-pixel circuit of light section method.
今回開発した装置を用いた圧延ラインでの現場実験をFig.8に，今回開発使用した2種類のカメラの主な仕様をTable 2に示す。Table 2のカメラの撮像速度は，CMOS撮像領域を部分領域に限定することで，1 kHzカメラでは最大1,300 fpsを，市販カメラでは最大200 fpsを実現した。
Experimental set-up. (Online version in color.)
| 1kHz high-speed image processing camera | Commercial camera | |
|---|---|---|
| Image sensor | CMOS (Color, 1/2 inch) | CMOS (Mono, 1/1.8 inch) |
| Active pixels | 1280 × 1024 | 1280 × 1024 |
| Frame rate at full resolution | 150 fps | 50 fps |
| Data transfer interface | USB 2.0 | GigE |
Fig.8に示す本実験では，実機で必要となる耐熱筐体や圧延ラインへの恒久的な固定冶具は製作せず，本報の基本的アイデアの検証と動作原理確認のため，複合光学系の構成部品であるシートレーザ2種類(緑，青)と，自作開発したFPGAリアルタイム並列画像処理回路を搭載した1 kHzの高速カラー画像処理カメラ，および振動除去等の各種画像処理ロジック検証用に市販の高速モノクロカメラ(Fig.8中の1 kHzカメラ位置に取替えて設置)を，それぞれ三脚で暫定的に固定する方法をとった。圧延ラインの圧延機出側直後の第一トラフ間の隙間空間に合わせて複合光学系を設置し，実験測定では材の通過タイミングに合わせ手動で測定開始操作を行った。
現場実験では，事前にシートレーザ間の面平行度を調整したレーザベース板(Fig.8)を圧延ラインのパスラインに垂直になるようパスラインからの距離500 mmの位置に設置し，シートレーザ面から22.3度の角度をつけてカメラをパスラインからの距離1150 mmの位置に設置した。自発光による材幅値のカメラ分解能の校正および光切断法による形状値の高さ分解能の校正は，サイズが既知の丸棒ターゲットを測定範囲内に設置し，これを撮像することで画素・距離換算した。
まず初めに，圧延途中の材で，圧延機間の張力がかかっていない先端部の材幅と形状の蛇行の様子をFig.9に示す。横軸は経過時間，縦軸は材の断面方向位置，R画像の輝度明暗は各ラインでの自発光の輝度平均値(プロジェクション)，G画像の輝度明暗は材の凹凸形状の高低を示している。1 kHzカラー画像処理カメラは1,000 fps(frame/sec.)で撮像し，リアルタイム画像処理を行った。
Measurement images at top part of steel rod.
次に，自発光R画像の両端部位置から材の中心位置を求め，先端部の材の蛇行を補正した結果をFig.10に示す。本測定は，撮像速度300 fpsに設定し，視野を広めて計測した。Fig.10中の自発光R画像では，周囲と温度が若干違うため輝度が低く撮像されている圧延自由面(上下圧延ロールの隙間を通過した圧延されていない自由面)が，圧延の時間経過とともに回転している様子がわかる。材幅と形状を同一カメラで同時計測することにより，材のカメラ画像面上での上下方向の振動を除去した形状計測が可能であることを確認した。
Measurement images after center adjustment.
Fig.10より1断面を抜出し，材幅と形状をFig.11に示す。横軸は材の断面方向位置，縦軸は，自発光R画像(破線)では輝度平均値を，光切断G画像(実線)では材の凹凸形状の高低を，グラフ表示している。Fig.11中，特に左端部では，自発光の材幅プロファイルに比べ，光切断法の形状プロファイルが端部末端まで測定できていない。これはFig.11右図に示すように，棒鋼が丸棒状のため，その端部ではシートレーザの光散乱強度が極端に弱くなり，カメラでの光切断線検出ができなくなっているためである。従って，両端部位置を正確に計測する必要のある材幅計測では自発光R画像を用いる必要があり，一方で材の中心部の凹凸形状は光切断法でしか計測できないことになる。故に，計測項目に応じた最適な光学系を構築し，これらを同時計測することは重要である。
A measurement result of width and profile in section.
また，Fig.11の光切断G画像(実線)に対してハイパスフィルタ処理を行い，材の形状値に対する評価を行った一例をFig.12に示す。Fig.12右下図の1断面画像では，右端部に約1.5 mmの凸形状が有ることがわかった。本測定例は，Fig.2の圧延不具合例の「はみだし」に相当する事例と考えられる。
Analysis of profile at middle part of steel rod.
前節まで，圧延途中工程での材の材幅・形状計測結果を説明した。しかしながら，異形棒鋼故の形状計測の困難さは，その形状が作り込まれる最終圧延後での高速形状計測の実現にある。
Fig.13に示す節と撮像速度の関係から，オシロスコープのパルス波形観測時に用いられる「等価時間サンプリング手法10)」と類似の方法で，最終圧延後の形状計測を実現した。Fig.13において，一定の圧延速度に対して節は時間Tの周期で通過する。一方，カメラ撮像周期をT+⊿Tに設定して撮像すると，節に合致するタイミングが⊿Tずつずれていき，N=T/⊿T回後に再び節に合致して撮像する。これら⊿Tずつずれて撮像した材の断面形状を，Fig.13右図のように合成することで，材の形状を模擬した形状画像を得ることができる。
Method of equivalent time sampling.
このT+⊿Tを変更しながら，最終圧延後の形状を測定した結果をFig.14に示す。本測定では，材速度より節の周期は約393 Hz(=T)であり，カメラ撮像の各周期によって節を測定するピッチが変化していることがわかる。市販カメラで撮像した100 fps(4T+⊿T’)，196 fps(2T+⊿T’’)では，撮像速度が遅く，節に合致するタイミングが少なくなるため，材の形状を明確に模擬することはできていない。一方，1 kHzカメラにより節の周期にほぼ合致する393 fps(T+⊿T)で撮像した場合，節に合致するタイミングが増えて，繰り返し流れてくる節の形状を模擬的に捉えることに成功した。なお本測定の100 fpsと196 fpsでは市販の高速モノクロカメラを使用し，光切断線抽出などの画像処理は画像取得後オフラインでパソコンにて行った。
Measurement images by equivalent time sampling.
材断面方向の振動ブレを，2種の光切断法(緑，青)により振動除去する機能について確認した。異形棒鋼D32(節の平均間隔の最大値22.3 mm)，材料速度3.4 m/sec.に対し，1 kHzの高速撮像カメラおよびFPGAリアルタイム並列処理回路により取得した光切断法の2種のG画像とB画像をFig.15に示す。DIF画像はG画像からB画像を差分したものであり，原理的には振動成分は除去されており，形状変化成分のみが残る。しかしながら，Fig.15のDIF画像では材の両端部を中心に細かなノイズが残っており，両端部において光切断線の輝度不足による未検出点の発生や，G画像に多く観測された火花を拾った輝度ノイズに起因した局所ノイズと考えられる。
Difference seen in images by removing vibration.
Fig.15のDIF画像中のリブ中央部の高さ変化をFig.16に示す。Fig.16の高さ変動は3σ=±0.36 mmとなった。大局的な数mmオーダの振動成分はほぼ除去できているが，局所的なノイズは残る結果となった。
A measured height of rib after removing vibration noises.
最後に，本手法による形状計測値の静止時の絶対値精度について確認した(Fig.17)。現場実験で得た最終圧延工程でのリブ付形状データに対し，四角で囲う範囲にて平均的な断面プロファイル形状(Fig.17下のRaw Profile)を計算した。現場実験で設置した光切断法光学系の距離校正のため，JIS規格に基づいたリブ無しの丸棒マスタピースを用意しておき，実際の現場実験で光切断法光学系を設置した状態のまま，圧延ライン上にこのマスタピースを設置して，距離校正のための静止時形状データ(Fig.17下のMaster Profile)を取得した。Raw ProfileからMaster Profileを差し引くことで，リブ部分のみの形状(Fig.17下のDifference Profile)を算出した結果，リブ幅3.8 mm，リブ高さ1.6 mmを得た。現場実験で持帰った異形棒鋼の実サンプルのリブ部分を，別途ノギスで測定した結果，前述のリブ幅およびリブ高さは0.1 mm以内で合致した。
Accuracy evaluation of a rib profile. (Online version in color.)
熱間圧延中の異形棒鋼の材幅および形状の圧延中リアルタイム形状計測技術を開発した。
棒鋼形状計測の分野では従来計測速度100 Hzを超える計測技術は無かったが，今回自発光による材幅計測と光切断法による形状計測を同時計測する複合光学系を考案し，最速1 kHzの高速カラー画像処理カメラを開発することで現場実験可能なシステムを構築した。実際の現場実験においても，狙い通り，材幅・形状の同時計測を実現し，材先端部の蛇行の様子や振動ズレ補正などが機能することを確認できた。しかしながら，実用装置にするためには，耐熱筐体の製作や実ラインへの常設設置，連続測定時の計測安定性など，実用面での確認は今後の課題である。
また本報で開発した要素技術として，高速カラー画像処理については，産業上の他分野への展開も検討していく。
