論文
ミラー駆動型高速アクティブビジョンを用いた製鉄所コンベアモニタリング
2020 年 106 巻 2 号 p. 61-70
詳細
2020 年 106 巻 2 号 p. 61-70
In this study, dynamic deflections and vibrations of belt conveyors operating in ironworks are observed using a high-speed telephoto mirror-drive active vision that can simultaneously switch viewpoints and capture zooming-in images at hundreds of frames per second. 160-fps video images for a belt conveyor are captured by our active vision system with pan-and-tilt scan as multiple high-frame-rate video images in the experiments, and small deflections and vibrations of multiple belts and pillars, whose peak frequencies are 10 Hz or more, are estimated with the precision of dozens of micrometers by image analysis such as DIC (digital image correlation) when the camera system is 5 m or more away from the conveyor to be monitored.
国内製鉄所の多くが1960~1970年代の高度成長経済期に建設され，建設後40年以上経過した製鉄所における基盤インフラ設備の老朽化が進む中で，火災，爆発，ガス漏洩等による事故につながる重大インシデントの発生防止が鉄鋼会社共通の喫緊の課題となっている1,2)。こうした老朽化問題に伴い，インフラ設備・構造物の安全評価や維持管理などを目的とした構造物ヘルスモニタリングへの要求が高まっている3,4)。各鉄鋼会社は，製鉄所の広域インフラ設備の安全確保に向けて，設備の振動や温度，減肉部位などのモニタリングに基づき，メンテナンスおよび設備更新に取り組んでいるが，コンベア・各種配管・搬送テーブル・クレーン等のインフラ設備の多くは製鉄所の広い敷地内に極めて数多く存在し，現在のスポット・局所的なモニタリングと人に依存した目視検査だけでは，製鉄所内インフラ設備の安定稼働を支えることは不十分であり，メンテナンス不足に起因したトラブルは根絶できていないのが現状である。
構造物の動的変位に着目した振動モニタリングは，構造物における構造損傷を検知する重要な手段の一つであり，加速度計5,6)，GPS7,8)，光ファイバ9,10)等の構造物設置型センサによる計測が数多く報告されているが，大規模な構造物全体の動きを計測するために複数箇所にセンサを設置する必要があり，センサ設置に多くの時間と労力を要する問題がある。構造物へのセンサ設置を必要としない遠隔モニタリングとして，レーザー11–13)やレーダー14,15)等の光学的センサを用いた構造物の非接触振動計測の研究も数多く報告される中で，コンピュータ性能向上とともに容易となったビデオ画像解析に基づく振動計測16–19)の研究が活発に行われており，画像相関法(DIC)を用いた橋の振動・たわみ計測20,21)，サンプリングモアレ法による微小変位計測22,23)等が報告されている。これらの多くは，市販カメラで撮影された高々数十fpsのビデオ画像に対する振動解析であり，音声周波数レベル振動分布をターゲットにしていないのに対し，近年では1000 fpsレベルの撮影・画像処理を実現する高速ビジョン24,25)が開発され，数百Hz~数kHzオーダーでの構造物の振動解析26–29)の研究が報告されている。
ビデオ画像を用いた振動解析では，複数点での振動分布を扱うことができる反面，イメージセンサの画素ピッチ等により振動分布計測における空間精度が制限される一方で，撮影倍率が大きいほど単一カメラでの観測可能な範囲が狭くなる問題がある。例えば数十mスケールの大構造物におけるサブmmオーダーの振動分布を計測するためには，100000×100000画素以上でのビデオ撮影の必要があり，単一カメラではその実現が困難である。カメラを能動的に動かすことにより，カメラ固定時では不良設定問題である三次元情報復元等を良設定問題にするアクティブビジョンの考え30)は，広域撮影における画角と精度の両立を可能とする考えとしても知られているが，PTZカメラで代表されるアクティブビジョンの多くは，特に高倍率撮影を行う場合，ズームレンズを含めたカメラが持つ物理的な大きさ・質量がその動作速度に限界を与えてしまう。これに対し，カメラ前方に高速駆動ミラーを配置したミラー駆動型高速アクティブビジョン31,32)は，レンズを含むカメラ本体を固定したままでの高速視線制御を可能とするものであり，特に広範囲にわたる計測対象をカメラ台数を増やさずに高空間解像度でズーム撮影する点で大きな利点があり，橋梁構造物モデルの振動試験33,34)でその有効性が示されている。このような高速アクティブビジョンは，高速駆動ミラーに基づき高フレームレート撮影を伴う広域スキャンの短時間実現により，特に製鉄所を始めとした広域フィールドを伴う生産現場において，既存設備や稼働状況に影響を与えない迅速な振動モニタリングを可能とする点で期待される。
そこで本論文では，製鉄所内に無数に設置されたベルトコンベアをターゲットとなる基盤インフラ設備として考え，ミラー駆動型高速アクティブビジョンによるベルトコンベア遠隔モニタリング試験を実施し，複数位置でのコンベア支柱やベルトのサブmmオーダーの動的挙動が計測可能なことを実験結果を通して示すとともに，今後の課題を整理する。
Fig.1にミラー駆動型高速アクティブビジョンの概念および本論文で用いたシステムの外観を示す。本システムは，高速USB3.1カメラ(DFK37BUX273, Imaging Source)，望遠レンズ(150-600mm F5-6.3 DG OS HSM, Sigma)，2自由度ガルバノミラー(6240H, Cambridge Technology)，制御用PC(Windows 10 home 64bit OS, MouseComputer Z370-S01, Intel Core CPU i7-8700K @ 3.70GHz, DDR4 16GBメモリ)から構成され，カメラ，レンズ以外の要素は，Aoyamaらが構築したミラー駆動型高速アクティブビジョン33)とほぼ同じ構成をとる。高速USB3.1カメラDFK37BUX273は8-bit濃淡1440×1080画像の撮影および制御用PCへの画像転送を最高273 fpsで可能であり，搭載イメージセンサの画素ピッチは3.45×3.45 µmである。カメラに装着された望遠レンズは，最大径121 mm，重さ2860 g，焦点距離を150~600 mm間で調整可能なものである。望遠レンズ正面に配置されたガルバノミラー6240 Hは，パン軸・チルト軸に対応したミラーサイズ17.5×12.2 mmの2つのミラーを持ち，制御用PCからの電圧指令によりミラー角度が制御され，これらの角度はアナログ電圧によりモニタ可能である。ガルバノミラーを介して，パン・チルト方向ともにカメラ視点を最大40度変えることができ，現在の角度から10度以内であれば，1 ms以内に任意角度に視点切替え可能である。制御用PCには，電圧指令用のDAボード(PEX-340416, Interface)およびミラー角度モニタ用ADボード(PEX-321216, Interface)が搭載されている。
Mirror-drive high-speed active vision. (a) concept. (b) overview. (Online version in color.)
一般にズーム撮影では，カメラが少しでも動くと画像内での見かけのずれが大きくなるため，計測対象をカメラ視野内に捉えるための事前準備に手間がかかる。特に製鉄所等のフィールド撮影では，計測試行毎に正確にカメラを同一位置に設置することが困難な場面が多くあり，同一カメラで異なる視野の画像を撮影する場合にこの問題が顕著となる。これらのことを考慮した形で，本論文ではミラー駆動型高速アクティブビジョンを用いて，Fig.2で示す撮影・処理の流れにより，構造物に対する振動モニタリングを実現する。
Flowchart of video shooting and processing in this study. (Online version in color.)
(1)ミラー走査によるパノラマ画像生成
計測対象位置を把握するために，ミラー走査によるパノラマ画像を生成する。時間間隔τで視線方向を切替え，パン方向I回，チルト方向J回と計IJ個の異なる視点の画像P0(x, y, t0+kτ)(0≤k<IJ)の撮影を伴うミラー走査を行い，これらの画像からパノラマ画像P(x', y')=
(2)ビデオ撮影を行うパン・チルト角度の指定
(1)で生成したパノラマ画像P(x', y')に基づき，ユーザーが振動計測を行うべき対象があるN個の座標位置(x'n, y'n)(n=0,...,N-1)を指定した上で，パン・チルト角とパノラマ画像の画像座標の関係を表すルックアップテーブルに基づき，ビデオ撮影を行うN個の視線方向に対応したパン・チルト角θn=f-1LUT(x'n, y'n)を決定する。
(3)複数視点に対する高フレームレート画像撮影
(2)で決定した視線方向θn(n=1,...,N-1)に基づき，パン・チルト角をθ(t)=
(4)高フレームレート画像に基づく微小変位計測・周波数解析
視点毎に得られたビデオ画像In(x, y, t')に対し，ターゲット領域Rn(x, y)を指定して，DIC等の微小変位を推定する画像処理アルゴリズムを適用し，画像内の二次元変位(ξn(t'), ηn(t'))=
次に国内にある製鉄所内で稼働中のベルトコンベアに対して，ミラー駆動型高速アクティブビジョンを用いて振動モニタリング試験を行った結果を示す。本試験は2019年12月10日午前中に，晴れ，気温5.1°C，風速1.9 m/s(午前10時)の気候条件下で実施した。ターゲットとしたベルトコンベアは，直径17 cmのローラー用支柱が0.8 m間隔で並び，その上に厚み10 mm前後のベルトがV字状に配置された形で原料を搬送するものであり，速度が2.7 m/秒で原料搬送時においてモニタリング試験を実施した。Fig.3に，このベルトコンベアについて，(a)3Dレーザースキャナ(Focus3D X330, FARO)により計測された三次元点群，(b)点群に基づき土木設計ソフトウェア(Civil 3D, Autodesk)を用いて生成した三次元モデルを示す。
Ironworks belt conveyor to be monitored. (a) 3D point groups. (b) 3D model. (Online version in color.)
ミラー駆動型高速アクティブビジョンは制御用PCも含めて可動ワゴンの机面に固定しており，可動ワゴンは雨天・迷光・風等の影響を防ぐために1.5×1.5 m大のテントを用意した上で，ベルトコンベア正面から5 m離れた位置に設置した。本論文では，望遠レンズの焦点距離を150 mmとし，5 m先において16.4×12.3 cmの範囲に対して，0.114 mm/画素の解像度で12ビット濃淡1440×1080画像を160 fps撮影することとした。隣接する視点画像が連続するように，時間間隔τ=6.25 ms，走査ステップ角Δθpan=1.88度，Δθtilt=1.41度のミラー走査により，水平22視点×垂直29視点の計638枚の画像を撮影し，これらの画像をFig.4で示す31680×31320画素のパノラマ画像に合成した。これらのパノラマ画像に基づき，ユーザーが指定する形で，Fig.4に示す5本のローラー支柱(No.1, No.2, No.3, No.4, No.5)付近を高フレームレート撮影すべき領域として指定し，支柱やベルトの微小変位・振動を計測するものとして，これらの視線方向に対応したパン・チルト角を決定した。これらの5個の視線方向それぞれに対して，Δt=3.75 s間の1440×1080画像を160 fpsで撮影した。なおNo.1~No.5の全てのローラーは，ベルトに連動する形で回転していることを確認した。撮影した画像例をFig.5に示す。
Panoramic image and selected positions to be observed. (Online version in color.)
Captured high-frame-rate images to be observed. (Online version in color.)
本論文ではこれらの高フレームレート画像において，画像処理すべき領域を指定した上で，(a)支柱の微小変位計測，(b)支柱左側でのベルトの振動・厚み計測を行った。支柱の微小変位計測では，ローラー軸を固定する円形部位の表面が鉱石粉塵の影響による特徴的な模様があることに着目し，Fig.6に示す領域に対して，撮影画像内の明るさが大きく変化しないとして，勾配ベースドDIC法35)を適用した。ベルトの振動・厚みは，支柱左側に対応した，Fig.6中に示す縦線を基準に，ベルトの上端/下端位置をエッジ検出し，下端位置をベルトの振動変位，上端位置と下端位置の差をベルト厚みとして計算した。なお支柱No.4の高フレームレート画像では，立て看板によりベルトが観測不能であったことを付記する。
Regions for DIC-based pillar analysis and lines for belt analysis. (Online version in color.)
No.1~No.5の支柱のx座標(水平方向)，y座標(垂直方向)の時間変化をFig.7に，これらの周波数特性をFig.8に示す。水平方向，垂直方向いずれも振幅0.05 mm前後の時間変化が観測され，ピーク周波数が10 Hzおよび26 Hz前後に観測されている。比較実験として，ミラー駆動型高速アクティブビジョンで用いたものと同じ高速USBカメラをNo.1の支柱の正面1.2 m先に設置し，焦点距離25 mmのレンズを装着した上で，12ビット濃淡1440×1080画像を160 fpsで撮影し，同様な解析処理により，支柱の水平/垂直変位の時間変化を計測した。Fig.9に撮影画像例およびDIC解析を行った領域を示す。支柱付近の23.3×17.5 cmの範囲に対し，0.162 mm/画素での撮影となった。比較実験について，(a)支柱No.1の水平/垂直変位の時間変化，(b)それらの周波数特性をFig.10に示す。比較実験では，異なる時刻でのコンベア稼働状況をモニタリングしたものではあるものの，Fig.7で計測された水平/垂直変位に比べ，変位が小さく，10，15，20 Hzといったピーク周波数がクリアに観測されたことがわかる。このことは，本試験におけるミラー駆動型高速アクティブビジョンの実験設定では，ベルトの振動に起因するピーク周波数10 Hzを基準とした数十µmオーダーの周期的な振動を遠隔計測できる一方で，特に水平変位では26 Hz前後のピーク周波数成分などの雑音・エラ-が発生したものと予想される。
Pillar displacements in horizontal and vertical directions. (Online version in color.)
Frequency responses of pillar displacements. (Online version in color.)
Input image with its DIC-analysis region in 1.2-m-distance experiment. (Online version in color.)
Pillar displacements and their frequency responses in 1.2-m-distance experiment. (Online version in color.)
No.1~No.3およびNo.5の支柱左側でのベルト振動変位として，ベルト下端位置のy座標の時間変化をFig.11に，これらの周波数特性をFig.12に示す。いずれの位置でも，ドリフトを伴う形で振幅1 mm程度の周期的時間変化が観測され，ピーク周波数が10 Hz前後に観測されている。振動変位がドリフトしている理由は，搬送中の原料の分布が一様ではなく，分布状況に応じた形でベルトのたわみ具合が変化しているためと考えられる。また厚みを含むベルトの状態をモニタリングするために，ベルト下端位置を基準として，ベルト上端位置との差であるベルト厚みの時間変化をFig.13に，およびFig.6で示したローラー左側の縦線上での断面輝度プロフィールを用いて，ベルトの層構造を容易に可視化することを目的として，ベルト下端位置が一定位置となるように補正した時空間画像をFig.14に示す。Fig.13およびFig.14の横軸は，撮影開始から通過したベルト長としており，3.75秒の撮影時間では10 m分のベルトの厚さおよび時空間画像を計測している。なおFig.6で示すローラー右側において断面輝度プロフィールが観測可能な場合について，Fig.13および14が時間シフトしたものとほぼ一致したベルト厚みおよび時空間画像計測結果を確認している。支柱No.1~No.3付近では，ベルト厚みはほぼ10 mm前後で観測された一方で，ベルト上の原料がベルト上端部として誤認されており，これらの原料が不均一に搬送されているため，1~2 mm前後のばらつきが生じている。支柱No.5付近ではベルト上端部がコンベア前方にあるフェンスにより隠れており，ベルト厚みが正しく計測されなかった。Fig.14の時空間画像では，3.75 sに搬送された10 m分のベルトについて，その多層構造を確認することができるとともに，不均一に搬送されている原料下部に，ベルト下端からほぼ一定位置にベルト上端部が観測されている。特に支柱No.1付近の時空間画像では，ベルトの層構造に対応した縞模様が一部崩れている場所があり，ベルト断面の観測からその劣化部位が観測されている。
Belt displacements in vertical direction. (Online version in color.)
Frequency responses of belt displacements. (Online version in color.)
Belt thicknesses. (Online version in color.)
Corrected spatio-temporal images at vertical lines. (Online version in color.)
3・2のコンベア支柱に対する解析結果では，ミラー駆動型高速アクティブビジョンによる計測結果が1.2 m先の固定高速カメラと計測結果に比べ，26 Hz前後の周波数成分を伴う形でやや振幅が大きくなった。この要因としては，ミラー駆動型高速アクティブビジョンを固定した可動ワゴンの振動が考えられる。検証のために，製鉄所でのモニタリング試験と同様な設定で，実験室において5 m先から実験室内の静止対象を観測したところ，3・2の解析結果と同様な周波数26 Hz，振幅0.01 mm前後の周期的波形が確認された一方で，可動ワゴンから制御用PCを外した状態で観測した場合，これらの周期的波形は観測されずに雑音成分が軽減したことを確認した。可動ワゴンの振動は，ワゴン上に搭載した制御用PC内の1500回転/秒前後で回転する空冷ファンにより発生したものと考えられ，特に製鉄所でのモニタリング試験では可動ワゴンを柔らかい地面に設置したため，これらの振動が増幅されたものと考えられる。なおコンベア等の振動に影響を受けない固定対象が同一画像内に撮影できる場合，画像内での固定対象の変位をリファレンスとした補正により，本論文で問題となったカメラ自体の微小振動に伴う誤差を軽減することが可能である。
これ以外にも製鉄所でのモニタリング試験では，地表温度と気温の差による空気のゆらぎに伴う陽炎の発生に伴い，画像の中で観測対象が揺れたり，ボケたりする現象が生じることが多発し，特に地表温度が気温より高い時に遠距離からのズーム撮影を行う場合に，この傾向が顕著に表れた。本論文に掲載した計測結果は，陽炎が比較的発生しない冬の午前中に撮影した画像を解析したため，陽炎が大きな問題とはならなかったが，ミラー駆動型アクティブビジョンに限らず，一般に遠隔からのズーム撮影画像による微小変位・振動計測を高精度に行うためには，気象条件を考慮した上で解析すべき画像を撮影する必要がある。
3・3のコンベアベルトに対する解析結果では，支柱の変位における振幅に比べ，ベルトのそれは1 mm前後と1桁以上大きいため，可動ワゴンの振動の影響は大きなものではなかった。一方で，今回解析に用いた高フレームレート画像は支柱部位に焦点・明るさを合わせて撮影したため，ベルト部位が十分なコントラストで撮影されておらず，ベルト下端位置は比較的安定したエッジとして検出できた一方で，上端位置さらにはベルト多層構造の詳細は必ずしも明確に検出できなかった。ベルト部位がクリアに撮影した画像に基づいた，ベルト上の原料等と分離された形でベルトの厚み・パタンの詳細な定量化は，ベルトの劣化部位等を高精度に定位するために有効な手段といえ，今後の課題といえる。
本論文では，製鉄所でベルトコンベアに対する遠隔動的たわみ・振動計測を，高速視点切替とともに高フレームレートでズーム撮影できるミラー駆動型高速アクティブビジョンにより実現した。稼働中ベルトコンベアに対し，パン・チルト視線制御と連動する形で160 fpsビデオ画像を撮影し，デジタル相関法等に基づく微小変位・振動解析を行うことにより，複数視線方向のコンベア支柱やベルトに対する数十µmオーダーの動的挙動の計測実験結果を示した。今後は，高フレームレート振動解析の高精度化・高速実時間化を図るとともに，本論文で取り上げたベルトコンベアだけではなく，製鉄所内にある各種配管・搬送テーブル・クレーン等の広域インフラ設備に対するモニタリング試験の実施を通して，ミラー駆動型高速アクティブビジョンによる広域モニタリングの有効性を検証していく。
