2017 Volume 103 Issue 3 Pages 142-148
Two kinds of advanced image processing were applied to multi-phase microstructures. One is evolutional image processing where optimized filter set was suggested by genetic programing. Another is trainable WEKA segmentation where features are extracted by many kinds of filters, followed by machine learning for classification. Once an optimized filter set is determined, efficiency of image processing for new data set is improved remarkably in comparison with a case of manual image processing.
材料組織の特徴を数値化するために,定量組織学に基づいた評価が行われている。従来は,組織画像上に引いた検証線を切る結晶粒界や第二相の数を数えて,粒径や第二相体積率が評価されてきた1,2)。最近では,手動で組織像を二値化処理し,個々の結晶粒の面積や第二相の面積をコンピュータで測定し,平均粒径などを求めることも一般的に行われている。しかしながら,対象とする領域だけを二値化処理することは必ずしも容易ではない。これは,汎用の画像処理ソフトでは画像の輝度値を使って二値化処理がなされており,対象領域以外にも同様な輝度値を有している領域が画像上に存在すれば,それらも同時に二値化処理されてしまうためである。信頼性の高い組織特徴値の評価をするためには,これらのノイズとして残る領域を手動で取り除く必要がある。現状ではこのノイズ除去処理に長時間を要し,組織を定量評価する際の効率を著しく下げている。
近年の画像処理の進展は著しく,静止画像や動画から対象とする領域を検出するアルゴリズムが開発されている。この領域検出の手法は大別して二種類(Fig.1)あり,一つは画像の特徴を抽出するのに最適な画像処理フィルタをコンピュータが学習によって自動獲得するディープラーニングを使ったRegions with convolutional neural network(R-CNN)3,4)であり,もう一つは予め設定した画像処理フィルタを複数使って特徴を抽出する機械学習を取り入れた先端的画像処理である。後者はさらに二種類に分類でき,70種類に及ぶフィルタ群から画像の特徴を抽出するのに最適なフィルタの種類と数そして組合せを遺伝的プログラミング(Genetic Programming:GP,説明は後述する)を使って探索する進化的画像処理(Evolutional image processing)5),*1と,最大20種類のフィルタを単独で使って特徴を抽出し最終的に機械学習により領域識別するTrainable Weka segmentation法6)がある。R-CNNは画像上に複数の物体が存在していても,事前に物体認識学習した結果に基づいて,個々の物体を認識することができる。物体を四角で囲んで認識することや,近年では物体輪郭そのものを検出する手法も報告されている。R-CNNは,専門家が既定のフィルタを与える必要がなくコンピュータが自動更新して最適なものを見つけるので理想的な完全領域検出手法といえるかもしれないが,その検出精度はまだ十分ではないようである。
*1 Craft-it
A comparison among image analyses.
もう一つの手法である進化的画像処理5)では,予め用意された画像処理の数十種類に及ぶ画像処理フィルタを使って,専門家が目標画像として与えた二値化画像に出力画像ができるだけ近くなるようにフィルタの最適な組合せ(解)が進化的計算手法(Evolutionary Computation:EC)によって導かれる。進化的計算では,機械学習の一つである遺伝的アルゴリズム(Genetic Algorithm:GA)を木構造(tree)で表した遺伝的プログラミング(GP,Fig.2(a))によってフィルタの数,組み合わせ,順序が最適化される。ここでGPでは,最適なフィルタの数,組合せ,順序を探索する学習過程で,(1)前回の学習で選択したフィルタをそのまま次の学習にも用いる場合(適者生存),(2)前回の学習で選択したフィルタを次の学習では用いない場合,(3)次の学習で新たなフィルタを取り入れる場合(突然変異),(4)前回の学習で選択したいくつかのフィルタを部分的に交叉させて次の学習で用いる場合(交叉)の4つの場合を予め設定した一定の割合(*3参照)で実施し,目標画像と出力画像の一致度が最も高くなるフィルタの組合せを探索することが行われる。目標画像と出力画像の一致度を評価する指標としては,両画像の各ピクセルの輝度値の差を全視野にわたって積算した値(fitness,後述する)や相関係数が考えられる。進化的画像処理によりそれぞれの対象とする組織に最適な画像処理フィルタの組合せを見出すことができれば,類似する組織像を一括してしかも高精度で二値化処理することができるようになり,組織の定量評価の効率が各段に上がるものと期待される。ただし,進化的画像処理では全領域の目標画像を与える必要があるのでその作成に時間をやや要し,また抽出対象数が一つであるため三相組織などの場合にはフィルタリング処理を複数回繰り返す必要がある。ここで,GP学習により木構造が発達する一例をFig.2(b)に示す。ここで「000」(実線枠)は原画像を意味する。原画像に連続して複数の種類のフィルタが適用され,出力画像(点線枠)が得られる。時には,同じ原画像を違うルートでフィルタ処理し,やがて二つのルートで処理された画像同士を融合(融合フィルタは単に二つの画像を加算するだけではなく,減算したり,乗算したりすることもある)することもある。木構造の最上部に示す出力画像と目標画像との一致度(fitness)を指標としてGP学習が続けられ,木構造はfitnessが上昇する限り適度なサイズまで成長する。図中には,フィルタ処理による出力画像の例を示す。
A concept of genetic programming.
Development of tree in genetic programming.
いま一つのフィルタリング手法がTrainable Weka segmentation(TWS)6)であり,フリーソフトのImageJのプラグインとして用意されている。ここでは,最大20種類までのフィルタを使って特徴抽出を行って,その特徴ベクトルを機械学習の識別器で識別して領域検出する*2。この識別器はデフォルト設定ではFast Random Forest法である。Random Forest法とは,フィルタリングにより複数得られた特徴ベクトルの中からランダムに複数を選択し,それを複数個の決定木で得られる重み付き平均確率に基づいて識別する手法である。TWSでは,目標領域を部分的に選択するだけで領域検出を行えるので,進化的画像処理のように全領域の目標画像を作る必要がなく,短時間で領域検出を行うことができる。また対象領域は複数でもよいことも特徴である。このTWSはImageJのプラグインであり,領域検出後ImageJを使ってスムーズに面積率などの特徴量評価ができることも特長である。
*2 背後では機械学習統合ソフトWekaが動いている。
このように先端的画像処理の進展は著しく,材料工学に適用できる時代に入ったと考えられる。本研究では,上述した二種類の先端的画像処理によりフェライト−マルテンサイト二相組織の領域検出精度を検証するとともに,より複雑な複合組織となる連続冷却材における領域検出を検証した結果を報告する。
供試材の化学組成をTable 1に示す。A鋼はフェライト−マルテンサイト二相組織を有する熱間圧延材(DP鋼)であり,B鋼はより複雑な組織への先端的画像処理の適応性を検討するために準備した連続冷却材である。B鋼の熱処理はフォーマスターにより行った。フォーマスター試験片の長さ方向の中央部を組織観察対象とした。B鋼は,1000°Cでオーステナイト化処理した後,1°C/sあるいは3°C/sで冷却した。冷却速度が1°C/sの場合,フェライト(F)−パーライト(P)組織が生成したが,コントラストがPとはやや異なる灰色の色調の領域(Fig.3a矢印,冷却速度が3°C/sの結果を示す)が観察され,走査型電子顕微鏡で確認(Fig.3b)したところ擬似パーライト(Degenerate pearlite:DeP)組織もしくは低炭素鋼II型ベイナイト7)が存在していることを確認した。擬似パーライト組織とはパーライト中のセメンタイト組織が分断している組織であり,低炭素II型ベイナイトとはベイナイトラス界面にセメンタイトが析出した組織であり,少なくともグレースケールの光学顕微鏡組織からはDePと区別することは困難である。ただし,比較的広い領域を狙って硬度測定をしたところ,その灰色の領域の硬度はHv(10gf)250とほぼPの硬度Hv(10gf)257と同様であった。したがって,冷却速度が1~3°C/sの場合に生成するのは低炭素鋼II型ベイナイトではなくDePが主と判断した。なお,冷却速度が30°C/sまで上がった場合には灰色の領域は一層増え,その硬さはHv(10gf)302となった。硬度が上昇しており,ベイナイトが増加しているものと思われる。冷却速度が3°C/sの場合は組織がより複雑になり,粗大で塊状のF相,黒く観察されるP相,灰色に観察されるDeP相に加えて,一方向に伸びた形態を有するフェライト相が観察された(Fig.7)。隣接する一方向に伸びたフェライト相の間にはDeP相が存在しており,本研究ではこのようなDeP相を挟む伸びたフェライト相を総じてウッドマンシュテッテンフェライト組織(WF)と定義した。本研究では,冷却速度3°C/s材を対象に,F,P,WF(DePを含む),単独で存在するDePの領域検出を試みた。A,B試料とも,エッチングは3%ナイタールで行った。
C | Si | Mn | |
---|---|---|---|
Steel A | 0.10 | 1.00 | 1.99 |
Steel B | 0.15 | – | 1.50 |
(a) Optical microscope image, (b) Corresponding SEM image. Steel B, cooling rate 3°C/s.
本研究では各相を検出するため進化的画像処理ソフトウェアであるCRAFT-IT(マシンインテリジェンス(株))を使用して各相の識別を行った。CRAFT-ITにおける個体の評価値(fitness),つまり目標画像と出力画像の一致度の定義式は(1)式の通りである8)。目標画像が複数枚ある時は,評価値の平均とした。
(1) |
ここで,Kは教師画像セット数,{okij}は原画像を進化的画像処理し得た出力画像のi,j座標における輝度値,{tkij}は目標画像の輝度値,{wkij}は重み画像の輝度値である。また,W,Hはそれぞれ画像の幅および高さである。画像中の各画素値は0からVmax(通常は255)までの整数値をとる。評価値は出力画像と目標画像との距離を正規化した値であり,それを画像セットごとに求め平均している。適応度は0から1までの値をとり,出力画像が目標画像に類似しているほど大きい値をとる。GPの設定は,個体数(1世代あたりの,組み合わせ試行回数)100,世代数(Epoch)10000,交叉率1,突然変異率0.9とした*3。また,木構造を直列とするか並列とするかの割合(CRAFT-ITでは1入力フィルタ生成確率と呼ばれる項目)を直列0.8とした。なお,1入力フィルタ生成確率を0.1(並列が主)から1(直列)の範囲で変更し,A鋼の組織識別時の評価値に及ぼす影響を調べたが,評価値は0.93から0.95の間であり,大きな変化は認められなかった。
*3 CRAFT-ITではMinimal Gap Generation(MGG)8,9)と呼ばれる世代交代モデルが採用されており,世代交代の際に必ず子個体を生成するため,交叉率は1.0ということになるした。今回設定した突然変異率の0.9という値は一般的な設定と比べて非常に高い値であり,これは,より多様な個体集団を獲得するための設定である。
重み画像は,目標画像の中の重要度が高い画素を強調するために与えられる。例えば,目標組織の中で白(輝度値255)と色塗りした対象組織に対して,例えば重み値wkijを100と与えた場合,目標画像の輝度値に比べて出力しようとする輝度値が低い画素があると,重みwkijがかかった分だけ評価値を上げ,輝度値が低い領域の輝度値をより上げる方向にフィルタ処理が行われ,その結果より多くの白い領域が出力されることになる。広い視野における傷などの特定領域を強調して出力する時には重み画像を与えることは便利であるが,過度に特定領域を増やしてしまうことにもなり,目標画像と出力画像の一致度を必ずしも上げるという結果にはならないことに注意する必要がある。実際,本研究で出力画像と目標画像の輝度値の相関係数を評価したところ,重み画像は入れない(重み値0*4)設定の時に相関係数が最も高いことが判明した。したがって,本研究では重み画像は与えなかった。また,CRAFT-IT内には画像処理フィルタが70種類用意されており,本研究では基本的に全てのフィルタを選択候補としたが,最大使用フィルタ数は40とした。
*4 重み値なしと設定した場合はwkij=1と入力される。他は設定値が入力される。
本研究では,後述するTWS法を含めて,異なる画像処理法の組織識別精度を比較しており,すべての処理結果を同じ基準で評価する必要がある。そこで,出力画像と目標画像の一致度の別の指標として,輝度値の相関係数を用いた評価を行った。相関係数は(2)式で与えられる。ここでxijは出力画像の(i,j)座標における輝度値であり,yijは目標画像についてのものである。本研究では,評価値と相関係数の両方を使って,フィルタの組み合わせの最適化度合いを評価した。評価に相関係数を併用したのは,上述した理由に加えて,重み画像を使う場合に必ずしも目標画像と出力画像の一致度と評価値が対応しないときがあるためである。ただし,本研究では重み画像は使わなかったので,評価値と相関係数の間にはよい正の相関がある。ここでは,学習で得られた最適なフィルタセットを新たなテスト用画像に適用して得た進化的画像処理像と目標画像の相関係数を調べた。
(2) |
本研究では,A鋼についてはマルテンサイトを検出した。
進化的画像処理の学習回数(Epoch)は10000回とした。学習に伴う評価値の変化ならびに各学習過程で習得したフィルタの組み合わせの例をFig.4に示す。上記条件で進化的画像処理した結果,選択されたフィルタの種類の数は,教師画像を3セットとした場合,A鋼では22であった。同一フィルタが複数回使われることもあり,木構造を構成する総フィルタ数は37であった。
A change in fitness with epoch.
各供試材で取得した組織画像から適当な画像を選び出し原画像とする。さらに目標画像を,原画像の各組織に手動で色付け(ラベリング)して作成した。ラベリングはAVIZO fire(マックスネット(株))を用いて行った。この処理のあとで,CRAFT-ITを使って組織の二値化処理を行った。この原画像,目標画像,そして重み画像(本研究では用いなかった)を加えた3枚の画像が相を検出するための1つの教師画像セットである。
2・3 Trainable Weka segmentation(TWS)の設定画像処理の代表的なフリーソフトであるImage Jには用途に合わせたパッケージが複数存在し,その中で生命科学系の画像処理に開発されたパッケージがFijiである。そのFijiパッケージにプラグインとして用意されているのがTWSである。解析対象とした供試材はA鋼およびB鋼である。B鋼(冷却速度3°C/s)についてはF,P,WF(領域内に存在するDeP部を含む),単独で存在するDePを検出した。
用いたフィルタ数は最大の20とした。識別器はデフォルト設定のFast random forest法とした。First random forest法を用いた理由は,同じく識別器であるニューラルネットワーク,サポートベクターマシンあるいはNaive Bayesに比べて,識別精度を落とすことなく圧倒的に早い識別を行うという事前評価結果があるためである。
Fig.5(a),(b)に,それぞれA鋼を対象に,教師画像セット数3セットとした時の進化的画像処理出力画像(output)と全領域の目標画像(target,原画像3枚に対して目標画像も3枚用意したが,ここでは一例として1枚の目標画像のみ示す),TWS出力画像と部分的に与えた目標画像を示す。参考として,手動で輝度値を指標に二値化処理した結果を上段右列に併せて示す。一致度を評価するために,進化的画像処理増に対しては,評価値とともに,AVIZO fireで出力および目標画像の座標ごとの輝度値を求めその相関係数を求めた結果をTable 2に示す。Table 2では,進化的画像処理において教師画像セット数が出力・目標画像の一致度に及ぼす影響についても示している。教師画像セットが多いほうが両者の一致度は高くなる傾向にあり,教師画像が3セットの場合には,A鋼については評価値0.879,相関係数0.714であった。一方,TWSで得た出力画像と目標画像の相関係数は0.675であった。なお,手動で二値化処理したA鋼の相関係数は0.540であった。
An example of input, target, and output images in two types of advanced image processing in comparison with manual image processing.
Steel A | |||||
---|---|---|---|---|---|
Evolutional | TWS | Manual binarization | |||
No. of target image | |||||
1 | 2 | 3 | |||
Fitness | 0.868 | 0.870 | 0.879 | – | – |
Correlation coefficient | 0.694 | 0.697 | 0.714 | 0.675 | 0.540 |
学習により最適化したフィルタセットを使って,100枚のシリアルセクショニング画像の一括画像処理を実施した。従来100枚程度のラベリング処理に約1か月を要していたが,進化的画像処理により一度最適なフィルタセットを学習(約半日を要するがすべてコンピュータが実施する)すれば,他の画像の画像処理時間は1分程度で完了する。
シリアルセクショニング像は若干位置がずれているので原画像の位置合わせを事前に行った後に,進化的画像処理を施し3次元再構築した結果をFig.6に示す。A鋼について,手動でラベリングした像(目標画像)を使って得た三次元像と,進化的画像処理像より得た三次元化像からマルテンサイトの体積率を評価*5し比較したところ,それぞれ25.7%,25.2%と大差のない値が得られた。なお,TWS法でも学習した領域検出フィルタは保存可能であり,その他の画像にそれを適用しで一括処理することも可能である。
*5 体積率評価はボクセル(ピクセルの三次元版)を数えることで行われる。各ボクセルのサイズを予め入力しているので,あとはボクセルの数を数えるだけで,容易に体積が分る。
3D reconstructed dual phase microstructure in steel A.
より複雑な組織を有する連続冷却材(B鋼,冷却速度3°C/s)に先端的画像処理を適用した。ここでは,目標画像設定が容易で,しかも複数の対象領域を一度に識別可能なTWS法により画像処理を行った。実験方法のところで述べたように,組織構成は,F,P,WF(領域内に存在するDePを含む*6),単独で存在するDePである。Fig.7に示すように,複雑な組織であっても,各組織がほぼ的確に検出されていることが分かる。
*6 本研究では,フェライト相とセメンタイト相で構成されるパーライト組織のような複合組織を想定して,WF相+DeP相の複合組織をWF組織と呼ぶことにする。
Phase extraction for Steel B by TWS.
一度作成した画像処理フィルタを新たな画像に適用する際に,原画像のサイズや明度の偏りなどは組織識別結果に影響を及ぼす可能性がある。その対策として,すべての画像は統一されたサイズ(例えば長辺が600 pixel,短辺は原画像のアスペクト比を維持して変換)になるように変換されるようにしたうえで,バックグラウンドの明度の偏りを補正して均一化したのちに全体の明度も常に一定水準になるように調整することが望まれる。Fig.8には(a)長辺を600 pixel(短辺は元のアスペクト比を維持するように変換)にした原画像と(b)サイズを長辺600 pixelにし,さらにバックグラウンドの明るさの偏りを補正し明度も調整した画像ならびに(c)(d)それぞれのTWSによる組織識別結果を示す。図中のヒストグラムは対角線上の輝度値を示し,前処理を施していない(a)ではバックグラウンドに偏りがあり,一方前処理を施した場合(b)にはバックグラウンドが均一になっていることが分かる。前処理した場合(b)(d)に識別精度が上がっていることが明らかである。
An effect of preprocessing on phase extraction for Steel A by TWS. (a) Original image, (b) preprocessed image, (c) and (d) phase extraction images for (a) and (b), respectively.
進化的画像処理およびTWSにより,A鋼に対する組織検出を行い,全領域の目標画像と出力画像の相関係数がそれぞれ0.714,0.675となった。これらの値は,輝度値のみで組織検出した結果(Fig.5上段右,相関係数:0.540)と比べて,断然高い検出率となっている。特に,輝度値のみから手動で組織検出した場合には,検出対象であるマルテンサイト相とフェライト粒界が同じような輝度値を有していることから,両方とも検出されてしまい,この検出像を目標画像に近づける処理を行う際には,フェライト粒界領域を消去する処理が必要となる。通常,この処理に長時間を要する。一方,進化的画像処理像およびTWS画像処理像はFig.5に示すようにフェライト粒界部はほとんど検出されておらず,目標画像に近づける手動での後処理が不要もしくは必要としてもわずかの時間で済む。しかも,対象像が複数枚ある時に,これらの先端的画像処理の優位性は一層高くなる。
特にTWS法は,進化的画像処理に比べて適用可能なフィルタ数は少ないものの,目標画像を部分的に設定するだけで他の同様な領域も抽出することができるうえ,対象領域が複数あっても一度に領域抽出を行うことができる大変効率の良い画像処理手法である。解析に要する時間は数分であり極めて高速な検出結果を示す。連続冷却材のように大変複雑な組織であっても妥当な領域検出結果を示した。一方,進化的画像処理の特長は,画像処理の途中過程を木構造で示してくれる点や,総フィルタ数が多く高精度な領域検出を行う点である。ただし,目標画像を全領域にわたって与えなければならず,一度に検出できる対象も一つだけであり,また解析時間も数時間を要する。検出精度/解析時間といった効率ではTWSが優れていると考えられる。
二次元の目標画像と出力画像の相関が本研究の程度であっても,三次元像より求めた各相の体積率は両者で許容範囲内であった。この結果について,二次元像で不要に検出された領域があったとしても,三次元化する際にその上下の層でその領域が検出されていない場合には,ノイズとして除去されることがその理由として考えられる。すなわち,先端的画像処理は三次元像から体積率を求めるにあたっては,元となる二次元像に若干のノイズが伴っているにしても,有用であり,効率の良いフィルタ処理であるといえる。
本研究では,対象組織を複合組織としたが,進化的画像処理およびTWS法は植物の細胞壁の検出にも成功しており,金属材料の単相組織の結晶粒界検出にも威力を発揮するものと考えられる。実際にTWSで粒界検出を試みた一例を,Fig.9に示す。大半の粒界はよく検出されていることが分かる。一部で途切れてしまった粒界があるが,原画像でもその粒界のコントラストは弱く,このような不連続に処理された一部の粒界を手動で補正する機能を追加することが今後の課題である。
Ferrite grain boundary extraction by TWS. Original image is preprocessed in advance.
領域検出精度,解析時間,一度に抽出する対象数といった面に注目し,機械学習を取り入れた二種類の先端的画像処理方法を検証した。遺伝的プログラミングにより最適な画像処理フィルタの組み合わせを見出す進化的画像処理,簡便に対象領域の特徴抽出を行い機械学習で識別するTrainable Weka segmentation法を熱間圧延DP鋼および連続冷却材に適用し,輝度値の閾値を設定する手動一括二値化処理に比べて精度が格段に上がるとともに,手動で時間をかけて二値化処理する場合に比べて効率が顕著に上がることが分かった。三相以上の組織識別にはTrainable Weka segmentation法が識別精度/解析時間の比という効率の面で優れているという知見を得た。
本研究は,日本鉄鋼協会研究会「鉄鋼インフォマティクス」(主査:足立吉隆)ならびに総合科学技術・イノベーション会議のSIP(戦略的イノベーション創造プログラム)「革新的構造材料」(管理法人:JST)によって実施された。連続冷却材の組織判別については,物質・材料研究機構の塚本進氏,東京大学の糟谷正氏にご議論いただいた。ここに関係各位に謝意を表する次第である。