Wide-area Operation Monitoring of Conveyors Using a Panoramic Vibration Camera

Abstract

In this study, we propose a novel non-contact vision sensing method for wide-area monitoring of operation of conveyors in ironworks by using a panoramic vibration camera in real time. This method can capture magnified images including vibration contribution from single camera with mirror-driven based viewpoint switching. The small vibrations and rotations in multiple pillars and belts were detected using a function of a full-pixel vibration spectrum imaging which can calculate peak frequencies from time frequency responses. Through some experiments of different situation, such as loading and unloading, we evaluate the efficiency of this method which can monitor the operation of multiple rollers and conveyors, when the camera located in 15 m or more away from the conveyors to be monitored.

1. 緒言

製鉄所におけるベルトコンベアなどの主要設備や構造物は1970年代までの高度経済成長期に作られているものが多く，建設後40年以上が経過したことによる老朽化事故の発生が近年問題となっている。特に，総機長が100 km以上となる原料搬送コンベアは広範囲における保守・点検が必要とされており，効率よく点検する構造物ヘルスモニタリング技術の要求が高まっているが，いまだに広範な実現には至っていないのが現状である¹⁾。その一因としては，製鉄所の広域インフラ設備の安全確保には，広大な土地に多数配置されたベルトコンベアや各種配管などに極めて多数のセンサを設置する必要があり，費用が高額となる点が指摘されている²⁾。また，目視による設備診断・メンテナンスの実施のみでは，全てのインフラ設備を検査することは難しく，見落としによる大事故につながる危険性も問題視されている³⁾。特に，ローラーとベルトで構成される原料搬送コンベアは，搬送中にも関わらず，何等かの不具合でローラーが回転していない状態が続くと，高速に動くベルトと静止ローラーとの摩擦により，ベルトの亀裂・損傷や駆動系に対する過負荷により，運搬量の低下による生産性の低下だけではなく火災，爆発等の重大なインシデント⁴⁾につながる恐れが懸念され，様々な計測が行われている^5,6)。

特に，コンベア稼働状態を計測する手法として，RFID(Radio Frequency Identification)タグ等を用いた接触センサ^7,8)，電磁センサ^9,10)，光ファイバ¹¹⁾等の非接触センサ，レーザースキャナ¹²⁾やサーモグラフィカメラ^13,14)，ビデオカメラ^15,16)を用いた光学的非接触計測が幅広く用いられている。物理的に計測対象への直接設置が必要な接触センサや近接設置が必要な非接触センサは，高い精度での計測が可能な一方で，製鉄所内の原料搬送用コンベアのような広域設備を監視する場合，設置時間や計測時間だけではなくセンサ交換等の維持管理コストが大きなボトルネックとなり，その効率化が難しい。高い空間解像度から構造物等の動的特性の計測を実現するため，ビデオ画像解析手法として，画像相関法(Digital Image Correlation)^17,18)やサンプリングモアレ法^19,20)，オプティカルフロー^21,22)等が数多く報告されている。これらの多くが，市販ビデオカメラのフレームレートに基づく画像解析を行っており，他のセンサに比べ複数対象の同時監視が可能となるが，広域に設置された設備を監視する場合，イメージセンサの画素ピッチの制限から，1画素でカバーする範囲が大きくなり，固定された単一カメラでは局所的な微小変位を計測できない空間解像度の問題がある。またその多くは人間の視覚を基準として設計された数十 fpsでの標準的なビデオ画像に基づく解析であり，例えばコンベアでのローラー回転やベルト等の振動現象を正確に計測することが難しい。特に高倍率環境下では，撮影画像内の見かけの速度が速くなり，画像相関法のような動画像から直接的に動きを求める方法では，フレーム間の変化が大きくなり，フレーム毎の対応付けの精度が低下する。そのため，フレーム間の変化が少なくなるように，より高い時間解像度の高フレームレートでの計測が必要となる。

このようなビデオカメラの空間解像度・時間解像度の問題を解決するために，高倍率撮影のカメラ視点を能動的かつ高速に移動させるミラー駆動型アクティブビジョンシステム²³⁾が提案されている。このシステムは広範囲の計測領域を1台のカメラで，空間解像度を維持したままでのズーム撮影を可能とし，数百fpsレベルでの撮影・画像処理を実現する高速ビジョンと組み合わせた，高い時間分解能と高い空間解像度の特徴を活かしたダイナミックセンシングツールとして，橋梁モデルの振動計測^24,25)や製鉄所のベルトコンベアの支柱振動計測²⁶⁾を通して，その有効性が示されている。一般に，数十台・数百台といった複数カメラを設置する場合には，1台毎のピント調整，フレームレートなどカメラパラメーターの設定が非常に手間となり，日替わりで計測場所が変化するスポット計測を行う際には，カメラ配置・設定にかかる時間を極力少なくし，設置を簡易化することが求められる。ミラー駆動型アクティブビジョンシステムは一度設定が終われば，すぐに広範囲の測定ができるようになり，計測場所が変わっても1台のカメラパラメーターを設定するだけですぐに計測を始めることができるため，設置の即時性において，複数カメラの設置よりも優位性がある。また近年では，イメージセンサの各画素が光センサであることを利用し，全画素に対してそれぞれ独立した形での輝度時系列信号に対する信号処理に基づく振動イメージングの研究が行われ，音声周波数レベルでの振動分布計測を可能とする構造物の振動解析^24,27)やモーターやプロペラなどの回転数計測手法^28–30)，ミツバチの羽ばたき数計測手法^31,32)の研究等でその有効性の検証を通し，高速ビジョンにおいて1画素1画素全てが時系列信号処理用センサとして役割を果たす，新たな広域振動モニタリング技術として期待されている。

そこで本論文では，高倍率撮影のカメラ視点を維持したまま広範囲の視野をカバーした上で，実時間での画素レベル振動イメージングに基づく長時間振動解析を可能としたパノラマ振動カメラを実現するとともに，製鉄所内の原料搬送コンベアをターゲットとして，日替わりで計測場所が変化する状況を想定して，数十台・数百台といった複数カメラの設置・設定を行う必要のない広範囲スポット計測として，遠隔からの複数コンベア支柱ローラーに対する回転状態モニタリングを長時間実現し，コンベア上での原料搬送状態との関係も含めたデータ解析を通じて，広域に設置された設備監視における本システムの有効性を検証する。

2. 実現するパノラマ振動カメラ

2・1　システム構成

本論文で実現するパノラマ振動カメラは，これまでにオフライン振動解析を行っていた従来のミラー駆動型高速アクティブビジョン¹²⁾を発展させ，高速ビジョンに実時間振動イメージング機能を実装したものである。Fig.1に本論文で用いたパノラマ振動カメラの外観を示す。本システムでは，高速カメラ前方にパン・チルト2自由度の視線制御を行うガルバノミラーが設置され，パン・チルト方向のミラー角度が-10~10°の範囲で動作させることにより，-20~20°の角度範囲のズーム視点画像を高速に制御可能としている。高速カメラには，センササイズ4.96×3.76 mm，画素ピッチ6.90×6.90 μm，解像度720×540画素のカラーCMOSイメージセンサを持つ高速USB3.1カメラ(DFK 37BUX287 Imaging Source)を用い，720×540カラー画像が最大540 fpsで撮影可能である。カメラには焦点距離200 mmのレンズが装着されており，カメラ画角は1.42×1.07°である。ガルバノミラー(6240H, Cambridge Technology)は，パン軸・チルト軸にそれぞれミラーサイズ17.5×12.2 mm，17.5×12.2 mmのミラーを持ち，制御用PCからの電圧指令により，現在の角度から10度以内であれば，ミラー可動範囲内の任意視点への秒間1000視点以上の切り替えを可能とする。高速カメラで撮影された画像はUSB3.1インタフェースを介し，制御用PCに転送され，瞬時に振動イメージング処理が実時間実行される。本論文では制御用PCとして，現場でのモビリティも考慮し，CPU(Intel Core i7-8750H @ 2.20GHz)，16 GBメモリ，GPU(NVIDIA GeForce RTX 2070 with Max-Q Design)を搭載し，Windows OS 10 Pro(64-bit)がOSとして動作するラップトップPC(OMEN15, HP)を用いた。制御用PCでは振動イメージング処理とともに，DA/ADボード(PEX-361116, Interface)を介してガルバノミラー視線切替制御を行う。DA/ADボードはPCI Express拡張ボックス(TB31PCIEX16, StarTech.com)に搭載され，Thunderbolt 3インタフェースを通じて制御用PCに接続されている。

Fig. 1.

Overview of panoramic vibration camera. (Online version in color.)

2・2　画素レベル振動イメージング

遠隔からコンベア支柱ローラーの回転を検出する振動モニタリング法として，画像内の全画素輝度信号に対する短時間フーリエ変換(STFT)により，画素毎の輝度変化を振動分布として捉える画素レベル振動イメージング法を実時間実装した¹⁹⁾。画素レベル振動イメージングのコンセプト図をFig.2に示す。本手法では，肉眼では観測が難しい高速な振動情報を含む時系列画像を撮影した上で，各画素の輝度信号に対しSTFT計算に基づく周波数ドメインでのパワースペクトル成分を検出する。背景等の低周波数直流成分を取り除いた上で，画素毎のパワースペクトル成分が最大となるピーク周波数を検出し，これらの値がローラーの回転数に対応する場合，ローラー回転に対応した振動画素として抽出するものである。

Fig. 2.

Concept of pixel-level vibration imaging. (Online version in color.)

本振動イメージング法は，撮影フレームレートの半分となるナイキスト周波数までの振動モニタリングが実現でき，例えば，撮影フレームレート120 fpsの場合，0–60 Hzの周波数帯域での振動モニタリングが可能になる。本手法は，アピアランス形状等を考慮することなく，画素レベルの輝度変化にのみ着目した信号解析を行うため，低解像度化，焦点ぼけ等による画像劣化や照明変動やオクルージョン等の背景変化の影響を受けにくく，撮影環境に対して頑健な形でターゲットとなる振動領域が検出可能な点を特徴とする。また，長時間データ記録が困難なデータサイズの大きい高フレームレート画像から，ピーク周波数等を表す振動イメージング画像に変換し，それらの画像を数十 fpsで出力し，汎用画像キャプチャと同レベルでの通信・データ容量でのデータ記録を可能とする点で，計測時間に制限がないことと同時に，その場で解析結果が可視化できる即時性が大きな長所である。

本論文では，固定位置に設置されたパノラマ振動カメラから計測対象となるベルトコンベアを観測し，ローラー支柱は基準位置から大きく移動せず，同一画素でローラー回転数に依存した輝度変化を連続的かつ繰り返し計測するため，画素単位でのローター回転数に対応した特徴周波数が検出可能である。また，本手法での画素レベルSTFT計算では，処理に用いるフレーム数について，検出周波数分解能と実行時間のトレードオフが存在する。例えば，120 fpsで撮影した画像に対し，32および64フレームでのSTFT計算を行う場合，周波数分解能は3.75 Hzおよび1.875 Hzとなる一方で，STFT計算に用いるフレーム数が2倍になると，計算時間も2倍となり，振動イメージングの実時間実現での障害となる。本論文では，ローラー回転の有無に特化した振動検知モニタリングを目的とし，ローラー回転数の微小な差異に係る詳細な周波数応答解析は行わないため，フレーム数を抑えた形での画素レベルSTFT計算をGPUシステムへ並列実装し，実時間かつ長時間でのモニタリング運用を優先したシステム実装を行うものとした。

2・3　実装アルゴリズムと性能仕様

本論文では，(1)パノラマ走査に基づく複数撮影視点決定，(2)複数撮影視点でのピーク周波数画像を用いた振動イメージング，(3)ピーク周波数画像を用いたローラー回転検出 の処理を，構築したパノラマ振動カメラに実装し，広域に設置された複数のベルトコンベア支柱ローラーの遠隔モニタリングを実現する。アルゴリズムの詳細は以下の通りである

(1)パノラマ走査に基づく複数撮影視点決定

コンベア支柱振動計測¹²⁾の場合と同様に，事前処理としてガルバノミラーを用いた超高速画像スキャンにより，計測可能範囲を確認するパノラマ画像を生成した上で，モニタリングすべく複数コンベア支柱ローラーが観測可能となるパン・チルト角を決定する。

最初に時間間隔τで視線方向を切替え，パン方向I回，チルト方向J回と計IJ視点の画像P₀(x, y, t₀+kτ)(0≤k<IJ)の撮影を伴うミラー走査を行い，これらの画像からパノラマ画像$P\left(x^{\prime },y\text{'}\right)=\underset{k=0,\dots , IJ}{\text{Panorama}} I_0\left(x^{\prime },y\text{'},t_0+k\tau \right)$を合成する。時刻t₀+(i+jI)τでのパン・チルト角は，走査ステップ角を Δθ_pan,Δθ_tiltとし，θ(t₀+(i+jI)τ)=(iΔθ_pan, jΔθ_tilt)(0≤i<I,0≤j<J)である。パン・チルト角θとパノラマ画像の画像座標系(x', y')の関係は，ルックアップテーブル(x'_k, y'_k)=f_LUT(θ(t₀+kτ))として記録される。

次にパノラマ画像P(x', y')に基づき，ユーザーが観測すべき支柱ローラーに対応したN点の座標位置(x'_n, y'_n)(n=0,…,N-1)を指定し，ルックアップテーブルに基づき，ビデオ撮影を行うN個の視線方向に対応したパン・チルト角θ_n=f^‐1_LUT(x'_n, y'_n)を決定する。

(2)複数撮影視点でのピーク周波数画像を用いた振動イメージング

指定された視点毎に，高フレームレート画像(フレームレートf_i)の撮影を一定時間T₀行った上で，全画素の輝度信号に対しSTFT計算を行う画素レベル振動イメージング法²⁰⁾を適用し，処理結果としてピーク周波数画像を汎用ビデオ出力に対応したフレームレートf_Oで出力する。

最初に(1)で決定した視線方向θ_n(n=1,…,N-1)に基づき，ガルバノミラーのパン・チルト角をθ(t)=θ_{[t/T]mod N})と時間変化させ，θ_nに対応した一定時間T₀の高フレームレート画像I_n(x, y, t')=I(x,y,t-nT₀)((iN+(n-1))τ≤t'<(iN+n)T₀)(i:整数)を行う。

次にK(=f_i T₁)フレーム分の画像I_n(x, y, t')に対し，全画素の輝度信号に対するSTFT計算に基づき，画素毎に輝度信号パワースペクトル

  

$$F_n^k\left(x,y,t^{\prime }\right)=\text{STFT}\left(I_n\left(x,y,t^{\prime }\right),\mathrm{...},I_n\left(x,y,t^{\prime }-\left(K-1\right)T_i\right)\right)\left(k=0,\mathrm{...},K-1\right)$$(1)

を計算する。F_n^k(x, y, t')は周波数バンドkf_i/K ≤ f <(k+1)f_i/Kに対するパワースペクトル成分を表す。

最後にf_cut(=k_cut·f/K)以上の周波数領域でパワースペクトルが最大となるピーク周波数を検出することにより，視線方向θ_nに対するピーク周波数画像

  

$$P_n\left(x,y,t^{\prime }\right)=\frac{f}{K}\underset{k\ge k_{cut}}{\arg \max }{F}_n^k\left(x,y,t^{\prime }\right)$$(2)

を計算する。

これらの画素レベルSTFT計算およびピーク周波数画像出力は，視点切替毎に行われるとし，元々の画像フレームレートf_iに比べ，大幅に低い視点切替レートf_o=1/T₀で実行される。

(3)ピーク周波数画像を用いたローラー回転検出

視点毎にフレームレートf_oで出力されたピーク周波数画像において，支柱ローラーを含むROI領域R_n(x, y)内でローラー回転に対応したピーク周波数成分の有無を以下のように検出する。なおR_n(x, y)は(1)の複数撮影視点決定等で事前に指定されたものとした。

最初にピーク周波数画像に対し，ある周波数帯域内のf^low≤f<f^high以上のピーク周波数を持つ画素を検出する。

  

$$V_n\left(x,y,t^{\prime }\right)=\{\begin{array}{cc}1& \left(f^{low}\le P_n\left(x,y,t^{\prime }\right)<f^{high}\right)\\ 0& \left(\text{otherwise}\right)\end{array}$$(3)

次に指定ROI領域内の振動画素数r_n(t')をカウントし，その値が閾値θ_n^ro以上となる場合，回転成分が検出されたとして，視線方向θ_nにある支柱ローラーの回転有無を判断する。

  

$$R_n\left(t^{\prime }\right)=\{\begin{array}{cc}1& (r_n\left(t^{\prime }\right)\left(={\displaystyle \sum _{\left(x,y\right)\in R_n\left(x,y\right)}{V}_n\left(x,y\right)}\right)\ge {\theta }_n^r)\\ 0& \left(\text{otherwise}\right)\end{array}$$(4)

なお日照条件の違い等を考慮し，視線方向に応じた閾値θ_n^r(n=1,…,N)を設定した。

本論文では，いずれの処理もフレームレート120 fps(=f_i)，露光時間2 ms，720×540カラー画像を撮影し，撮像タイミングに同期した形で1/120 s毎に視点切替制御を行った。なお視線制御を行うガルバノミラーは2 ms以内の視点切替が可能であるため，カメラ露光時に視点切替が生じないように露光時間以外の時間(6.3 ms)に視点切替制御を行った。

パノラマ走査における走査ステップ角はΔθ_pan=1.37°，Δθ_tilt=1.03°に設定し，走査領域内の画像を隙間なく取得するために，カメラ画角1.42×1.07°より少し小さい値とした。振動イメージング処理では，カラー画像を濃淡画像に変換した上で，0.267 s間の32(=K)フレームの画像による画素レベルSTFT計算を行い，視点切替レートはf_o=3.75 fpsに設定した。GPUボードへの並列実装により，32フレームの720×540画像に対する画素レベルSTFT計算は0.267 s以内で実行でき，次の視点切替までに終了するように高速化されている。ローラー回転検出は，T_o=0.267 s毎に出力されるピーク周波数画像について，各ローラー支柱に予め設定した30×30ROI領域の振動画素数のカウントにより実現した。N方向に対する視線切替を行う場合，各支柱ローラーの回転検出状態はT₂=NT_o=0.267×N s毎に更新される。

以降の実験では，長時間でのコンベア監視を目的として，パソコンのメモリ容量等の制約から，長時間記録が難しい120 fpsビデオ画像の撮像・処理が必要とされる(1)および(2)を実時間実装する一方で，(2)の振動イメージング処理によりフレームレート3.75 fpsにダウンコンバートしたピーク周波数画像を長時間キャプチャした上で，(3)のローラー回転検出は録画画像に対するオフライン処理により行うものとした。

3. ベルトコンベアに対する支柱ローラー回転モニタリング試験

3・1　実験環境および設定

国内にある製鉄所内で稼働中の原料搬送用ベルトコンベアに対して，パノラマ振動カメラを用いて，コンベア支柱ローラーの回転モニタリング試験を行った。本試験は2019年12月23日に，晴れ，気温11.7°C，風速2.0 m/s(午前12時)の天候条件下で実施した。Fig.3に実験環境の概要を示す。ターゲットとするベルトコンベアでは，直径17 cmのローラーを上部に持つ支柱が0.8 m間隔で複数並び，支柱ローラー上を厚み10 mm前後のベルトが動く。本試験での搬送速度は最大2.7 m/sであり，その場合のローラー回転数は8.3 rpsであった。焦点距離200 mmのレンズが装着されたパノラマ振動カメラはコンベアから発生する振動が三脚に与える影響を考慮し，ベルトコンベア正面から15 m先の三脚上に設置され，15 m先では0.36×0.27 mが1視点の撮影範囲，0.5 mm/画素の解像度での撮影が可能である。

Fig. 3.

Outline of rotation monitoring of conveyer-rollers in a steelworks. (Online version in color.)

撮影視点を決定するパノラマ画像は，水平30視点×垂直39視点の計1170枚の画像を撮影し，Fig.4で示す21600×21060画素の合成画像として生成した。パノラマ画像に基づき，13本のコンベア支柱上のローラーが撮影範囲に入るように，10.8×0.54 mの範囲に対応した水平30視点×垂直2視点に対応するパン・チルト角をミラー走査する視点として設定した。パノラマ振動カメラでは，視点毎に0.267秒間の32フレーム画像による実時間振動イメージングを行い，60視点の画像内の支柱ローラー回転検出が16.0秒周期で行われる形で，12時21分から13時30分までの70分間の支柱ローラー回転モニタリング試験を行った。なおベルトは一定速度で稼働する一方で，原料が積載された時間と空荷の時間が混在したことを付記する。

Fig. 4.

Panoramic images captured by panoramic vibration camera. (Online version in color.)

3・2　オフラインビデオ画像を用いた支柱ローラー回転解析

実時間モニタリング試験を行う前に，支柱ローラー周辺の0.32×0.24 m範囲を200 fpsの24ビットカラー640×480画像としてオフライン撮影し，回転する支柱ローラー周辺画素の輝度信号の時間変化を検証した。Fig.5(a)に入力画像を示す。オフライン撮影時の画像解像度は，3・3節で行う実時間モニタリング試験時の解像度と同レベルの0.5 mm/画素である。Fig.5に，(b)画素レベルSTFT計算に基づき計算されたピーク周波数画像，(c)画素A(30,30)，画素B(188,167)，画素C(214,361)における1秒間の輝度時間変化，(d)1秒間(200フレーム)の時系列信号により計算された周波数応答を示す。

Fig. 5.

Vibration detection results when capturing 640×480 images around a rotating conveyor-roller at 200 fps: (a) input image, (b) peak frequency image, (c) temporal brightness changes at A(30,30), B(188,167), and C(214,361), and (d) frequency responses at A, B, and C. (Online version in color.)

画素Aは背景領域，画素Cはローラー以外の支柱領域に対応し，輝度信号に大きな時間変化が見られないのに対し，画素Bは支柱ローラー領域にあり，ローラー回転による輝度信号の顕著な時間変化が観測されている。ローラー回転数8.3 rpsに対し，支柱ローラーの表面模様パタンの影響で回転数の2倍の16.6Hzを含む15.6 Hzがピーク周波数として検出された。ローラー回転に起因した振動は支柱にも伝わり，画素Cにおいて9.4 Hzのピーク周波数が観測されたが，振動の振幅が微小であり，輝度変化自体は微小であったことを付記する。Fig.5(d)では5~16 Hz帯域の検出ピーク周波数をカラーマップしており，ローラー回転数に対応したピーク周波数(緑:8 Hz付近)が支柱ローラーだけではなくベルトコンベア全体で観測される一方で，その2倍のピーク周波数(赤:16 Hz付近)は支柱ローラー領域を中心に強く表れている。

これらの結果から，200 fpsの撮影画像から，回転する支柱ローラー領域ではローラー回転数および2倍の周波数をピーク周波数として検出可能なことがわかる。

3・3　パノラマ振動カメラを用いた実時間支柱ローラー回転モニタリング

3・1節で記述した条件でミラー走査を伴う形で支柱ローラー回転モニタリング試験を行った場合について，実験開始直後(12時21分)に撮影された，走査領域内にある13本の支柱(支柱1~13)付近の視点の入力画像をFig.6に示す。これらの支柱に対応した視点に対し，Fig.7にパノラマ振動カメラにより実時間計測されたピーク周波数画像を示す。(a)は原料積載時(12時21分)，(b)は原料積載時(12時40分),(c)空荷時(13時30分)のものである。これらのピーク周波数画像から，原料積載時は支柱6以外の全ての支柱ローラーが回転し，それに対応したピーク周波数成分が検出された。空荷時は支柱6, 8, 10, 13のローラーの回転数が低下・無回転となり，支柱ローラー領域でピーク周波数成分が顕著な形で検出されなかった一方で，それ以外の支柱ローラーは，原料積載時と同様にピーク周波数成分が検出された。

Fig. 6.

Input images with panoramic viewpoint switching at 12:21: (a) selected pillar images in panoramic scanning, and (b) input images for pillars 1-13. (Online version in color.)

Fig. 7.

Peak frequency images around pillars: (a) 12:21 (with load), (b) 12:40 (with load), and (c) 13:30 (without load). (Online version in color.)

支柱に対応した視点毎に支柱ローラー領域内に30×30 ROI領域を手動指定し，そのROI領域内でピーク周波数成分が8~16Hzとなる振動画素としてカウントされた画素数を0~900画素の範囲で青色の棒グラフに，これらの情報に対する閾値処理に基づいた支柱ローラーの回転検出結果を赤色(回転有)/灰色(回転無)のバー表示とする形で，70分間のデータに対しプロットしたグラフをFig.8に示す。なお手動指定した30×30ROI領域をFig.7(a)に示した。本試験では，ベルトコンベアの斜め上方に設置したOccipital社のSCS-colorカメラにより撮影した640×480画像を30 fpsで記録しており，原料積載状況を示す情報として，ベルト断面画像を時間走査した時空間画像をFig.8の一番上に示した。SCS-colorカメラで撮影された画像例とベルト断面画像として選択された位置をFig.9に示す。なお式(4)の閾値は，支柱1~5の視点画像では90，それ以外の視点画像では200とした。

Fig. 8.

Number of detected vibration pixels around conveyor-rollers and their rotation status during 70-minute conveyor monitoring. (Online version in color.)

Fig. 9.

Monitor image for loaded materials with an intersected line. (Online version in color.)

ベルト断面画像に基づく時空間画像から，70分間のモニタリング時間のうち，12時21分から12時24分および12時40分から12時47分に断続的に原料が積載され，それ以外の時間は空荷状態であったことがわかる。原料積載有無に関わらず常にローラーが回転する支柱1~5, 7, 9, 11では，日照条件の変化等に伴う時間的なゆらぎがある一方で，支柱ローラーROI領域内に常にある一定数以上の振動画素が観測された。常にローラーが回転停止した支柱6では振動画素がほぼ観測されず，原料積載時および空荷時でローラー回転状態が変化する支柱8, 10, 13では，原料積載・空荷の状態に対応した明らかな増減が観測された。支柱12では，原料積載時だけではなく空荷時にも断続的に支柱ローラーが回転する場合があり，原料積載状況と支柱ローラー回転状態が必ずしも一致しないことがわかる。これらの結果から，本研究で開発したパノラマ振動カメラにより，70分間の長時間にわたる複数の支柱ローラーの回転有無を検知し，別カメラで観測されたベルトコンベアの原料搬送状況との定量的比較を含めた支柱ローラー回転モニタリングが可能となることがわかった。

原料積載時にも関わらず支柱ローラーが回転停止する場合として，(1)ベルトが常に離れた非接触状態，(2)ベルトと常に接触するにも関わらずローラーが回転しない という場合が考えられる。支柱6については前者であり，ローラー支柱の変形や支柱自体の地盤陥没等が理由に挙げられる。後者はローラー機構・駆動系の経年劣化等が理由に挙げられ，緒言で紹介した火災・事故等の原因となる可能性があり，設備の維持・管理をする上で精細な注意が必要となる。特に，(2)において，ローラーが回転していない場合でもコンベアが触れているとその振動を受けてローラーが動くことにより，回転として誤認識してしまう可能性が考えられる。しかし，本論文では，ローラー内の傷や隙間の部分が回転することで出現する輝度変化の周波数を捉えているため，ローラーが回転せずコンベアに触れているときに検出される周波数情報は異なったものとして検出可能である。ローラーの回転は他の振動に比べて大きく動いており，ローラーが回転している場合には継続して振動情報が取得されるが，ローラーが回転せずコンベアに触れているとその振動を受けて動く場合には，単発的に振動情報が取得されるものだと考えられる。そうした場合には，上述の通り，他のローラーと明らかに挙動が異なっているため，ローラーは回転していないが，コンベアが接触しているため，重大なインシデントに気付くきっかけになると考えられる。ベルトとの接触状態検出を合わせた支柱ローラー回転モニタリング技術は，ベルトコンベア重大事故の未然防止に向けた維持管理技術として非常に有効となると思われる。

4. 結言

本論文では，高速ビジョンによる広域振動モニタリングを目的としたパノラマ振動カメラを開発し，製鉄所内で稼働する原料搬送コンベアの複数支柱ローラーの回転状態を長時間にわたる実時間計測する遠隔モニタリング試験を行った。モニタリング試験を通して，1つ1つの支柱ローラーに回転センサを直接設置することなく，1台のパノラマ振動カメラが十数機の支柱に対応したバーチャル回転センサとして機能し，ベルトコンベア上の原料積載有無により時間変化する複数支柱ローラーの回転状態を実時間計測できることを確認した。

パノラマ振動カメラにおける画素レベル振動イメージングは，画像内に映る支柱ローラー領域が小さい場合でも原理的に振動画素を検出でき，数十~百数十 m以上離れたベルトコンベアの広域モニタリングにも適用可能である。これらも踏まえ，今後はベルトとローラーの接触状態を判定する画像処理機能を含む支柱ローラー回転モニタリングに向けたアルゴリズム改良を行い，ベルト接触とローラー回転の相関関係に基づく不転検知システムを構築していく。また重大事故の未然防止に向けた維持・管理ツールの実現に向けて，AI等によるランドマーク認識機能に基づく自動パノラマ視点決定機能等を内包した，広域インフラモニタリング技術を製鉄所の現場環境に対応した形で実装を進める予定である。

文献

• 1)  J.M.W. Brownjohn: Philos. Trans. R. Soc. A, 365(2006), 589. https://doi.org/10.1098/rsta.2006.1925
• 2)  N.Kurata: J. Soc. Instrum. Control Eng., 55(2016), 197 (in Japanese). https://doi.org/10.11499/sicejl.55.197
• 3)  M. Shirato: Proc. TRB 93th Annual Meeting, Transportation Research Board, Washington, DC, (2014), 14. https://www.pwri.go.jp/eng/ujnr/tc/g/pdf/30/30-6-2_Shirato.pdf, (accessed 2021-01-10).
• 4)  H.Kawazoe: J Jpn. Inst. Aggreg. Technol., 47(2015), 139 (in Japanese). http://www.bulkworld.co.jp/STONE187.pdf, (accessed 2021-01-10).
• 5)  A. Gaur, A. Singh, A. Kumar, KS. Kulkarni, S. Lala, K. Kapoor, V. Srivastava, A. Kumar and SC. Mukhopadhyay: IEEE Sens. J., 19(2019), 3191. https://doi.org/10.1109/JSEN.2019.2894665
• 6)  G.Son, J.-S.Park, B.-W.Yoon and J.-G.Song: Proc. 2018 14th Int. Conf. Signal-Image Technol. Internet-Based Systems, IEEE, Piscataway, NJ, (2018), 365. https://doi.org/10.1109/SITIS.2018.00063
• 7)  T.Nicolay, A.Treib and A.Blum: Proc. Sensors, IEEE, Piscataway, NJ, (2004), 333. https://doi.org/10.1109/ICSENS.2004.1426170
• 8)  G.Lodewijks, M.B.Duinkerken, A.M.L.de la Cruz and H.P.M.Veeke: Proc. BeltCon 2007, (2007), 1. http://saimh.co.za/admin/user_files/files/3.%20THE%20APPLICATION%20OF%20RFID%20TECHNOLOGY%20IN%20BELT%20CONVEYOR%20SYSTEMS(3).pdf, (accessed 2021-03-15).
• 9)  Y.Pang and G.Lodewijks: Proc. IEEE Int. Conf. Service Operations and Logistics and Informatics, IEEE, Piscataway, NJ, (2006), 803. https://doi.org/10.1109/SOLI.2006.328958
• 10)  R. Błażej, L. Jurdziak, T. Kozłowski, and A. Kirjanów: Measurement, 123(2018), 48. https://doi.org/10.1016/j.measurement.2018.03.051
• 11)  H.Hoff: Proc. 2nd Int. Conf. Fibre-optic and Photonic Sensors Industrial and Safety Applications, IEEE, Piscataway, NJ, (2017), 70. https://doi.org/10.1109/OFSIS.2017.9
• 12)  P. Trybała, J. Blachowski, R. Błażej and R. Zimroz: Remote Sens., 13(2021), 55. https://doi.org/10.3390/rs13010055
• 13)  W.Yang, X.Zhang and H.Ma: Proc. 2016 13th Int. Conf. on Ubiquitous Robots and Ambient Intelligence, IEEE, Piscataway, NJ, (2016), 400. https://doi.org/10.1109/URAI.2016.7734069
• 14)  J. Szrek, J. Wodecki, R. Blazej and R. Zimroz: Appl. Sci., 10(2020), 4984. https://doi.org/10.3390/app10144984
• 15)  Y. Yang, C. Miao, X. Li and X. Mei: Optik, 125(2014), 5803. https://doi.org/10.1016/j.ijleo.2014.07.070
• 16)  X. Li, L. Shen, Z. Ming, C. Zhang and H. Jiang: Optik, 168(2018), 360. https://doi.org/10.1016/j.ijleo.2018.04.053
• 17)  S. Yoneyama and H. Ueda: Mater. Trans., 53(2012), 285. https://doi.org/10.2320/matertrans.I-M2011843
• 18)  G. Busca, A. Cigata, P. Mazzoleni and E. Zappa: Exp. Mech., 54(2014), 255. https://doi.org/10.1007/s11340-013-9784-8
• 19)  S. Ri, M. Fujigaki and Y. Morimoto: Exp. Mech., 50(2010), 501. https://doi.org/10.1007/s11340-009-9239-4
• 20)  M.Fujigaki and T.Nakajima: Tetsu-to-Hagané, 106(2020), 71 (in Japanese). https://doi.org/10.2355/tetsutohagane.TETSU-2019-081
• 21)  I. Ishii, T. Taniguchi, K. Yamamoto and T. Takaki: IEEE Trans. Circuits Syst. Video Technol., 22(2012), 105. https://doi.org/10.1109/TCSVT.2011.2158340
• 22)  Y. Gao, T. Qiao, H. Zhang, Y. Yang and X. Xiong: IEEE Access, 7(2019), 121646. https://doi.org/10.1109/ACCESS.2019.2937317
• 23)  T. Aoyama, L. Li, M. Jiang, K. Inoue, T. Takaki, I. Ishii, H. Yang, C. Umemoto, H. Matsuda, M. Chikaraishi and A. Fujiwara: IEEE-ASME Trans. Mechatron., 23(2018), 179. https://doi.org/10.1109/TMECH.2017.2764504
• 24)  T. Aoyama, L. Li, M. Jiang, T. Takaki, I. Ishii, H. Yang, C. Umemoto, H. Matsuda, M. Chikaraishi and A. Fujiwara: J. Dyn. Syst. Meas. Control, 141(2019), 031007, https://doi.org/10.1115/1.4041604
• 25)  Z. Tang, K. Shimasaki, M. Jiang, T. Takaki, I. Ishii, A. Koga and H. Matsuda: ISIJ Int., 60(2020), 960. https://doi.org/10.2355/isijinternational.ISIJINT-2019-643
• 26)  H. Yang, Q. Gu, T. Aoyama, T. Takaki and I. Ishii: IEEE Sens. J., 13(2013), 4831. https://doi.org/10.1109/JSEN.2013.2276620
• 27)  M. Jiang, T. Aoyama, T. Takaki and I. Ishii: Sensors, 16(2016),1842, https://doi.org/10.3390/s16111842
• 28)  M. Jiang, Q. Gu, T. Aoyama, T. Takaki and I. Ishii: IEEE Sens. J., 17(2017), 1513. https://doi.org/10.1109/JSEN.2016.2647690
• 29)  N.Fujiwara, K.Shimasaki, M.Jiang, T.Takaki and I.Ishii: Proc. IEEE Int. Symp. on Safety, Security, and Rescue Robotics, IEEE, Piscataway, NJ, (2019), 303. https://doi.org/10.1109/SSRR.2019.8848949
• 30)  K.Shimasaki, T.Okamura, M.Jiang, T.Takaki, I.Ishii and K.Yamamoto: Proc. IEEE Int. Conf. on Automation Science and Engineering, IEEE, Piscataway, NJ, (2018), 451. https://doi.org/10.1109/COASE.2018.8560517
• 31)  K. Shimasaki, M. Jiang, T. Takaki, I. Ishii and K. Yamamoto: IEEE Sens. J., 20(2020), 5575. https://doi.org/10.1109/JSEN.2020.2968130
• 32)  K.Shimasaki, T.Okamura, M.Jiang, T.Takaki and I.Ishii: Proc. IEEE/SICE Int. Symp. on System Integration, IEEE, Piscataway, NJ, (2019), 474. https://doi.org/10.1109/SII.2019.8700340