High Dimensional Microstructure Data-driven Prediction of Stress-strain Curve of DP Steels by Primary Artificial Intelligence

Synopsis:

Prediction of a stress-strain curve of ferrite-martensite DP steels was studied by a combined technique of Bayesian inference and artificial neural network. To screen a descriptor to be used for neural network analysis, material genomes such as volume fraction, micro-hardness, handle, and void of martensite phase, and micro-hardness of ferrite phase were examined by Bayesian inference. In a case of small data set, a machine learning method to predict mechanical properties reliably was proposed.

1. 緒言

複雑系である実用鉄鋼材料の応力−ひずみ曲線を，材料工学の基本であるプロセス−組織−特性の相関を意識しながら，できるだけ精度よく予測することは材料工学の大きな目標であろう。これまでにも鉄鋼材料の応力−ひずみ曲線を経験式と理論を組合せて予測しようというモデリングによる取り組みが報告されている^1,2,3)。個々の強化則を使って精度よく強度とひずみの関係を関連付けることは可能であるが，複数の強化則の加算則については理論的な考え方はあるものの⁴⁾，不明確な点(例えば，複数の種類の固溶原子による強化や，複数の種類の析出物による強化，あるいは実測できる全転位密度の中の分離評価が困難な不動転位と可動転位のそれぞれの密度など)が含まれており実用材料の力学特性を高精度で予測するには依然問題が残っている。

一方，クリープ特性や，疲労寿命などのより一層複雑な現象が絡む力学特性を予測する取り組みとして，ニューラルネットワーク(Artificial Neural Network:ANN)を用いた検討例が報告されている^5,6,7)。そこでは化学組成やプロセス因子を入力変数として，特性を予測する検討がなされている。ANNは，入力変数と目的変数の間に隠れ層という未知の因子を導入し，目的変数をできるだけ実験結果に合うように出力する計算がコンピュータ内で行われている。この場合，隠れ層は，人間がいまだ把握していない因子を含めて，様々な組織因子を表現する。入力変数と隠れ層の間(場合によっては，隠れ層と目的変数間も)は非線形の関数で関連付けされおり，線形関数のみで関連付ける線形回帰式よりも，フィッティング性が優れているが，ANNではデータセット数が少ない場合の学習に課題がある。その課題とは，データセット数が少ない時に入力変数が多くなり過ぎると学習データ固有のばらつきまでフィッティングしてしまう過学習という問題が生じることである。この過学習により，本来望むフィッティングから離れてしまって予測精度が悪くなるという現象が起こる。一方，入力変数が少なすぎれば，そもそも実験データへの充分なフィッティングが期待できず予測精度が落ちる。すなわち，最適な入力変数の数を決める必要がある。

ここで，過学習を回避するいくつかの手法が考えられる。一つは前述したように最適な入力変数の数を決定することであり，その為には入力変数の重要なものから過学習が起きない範囲で入力変数の数を増やしていくことが望ましいものと考えられる。この時，入力変数の中から重要なものを選択する論理的な手法が必要となる。通常のANNでは，感度解析を行ってフィッティング曲線(Y=f(x, y, z…)を表す関数を今着目している入力変数で例えばx=iのところで偏微分し，その時の傾き(α_i=∂f(x, y, z…)/∂x|_x=i)を関数の全領域に渡って求めて，その平均値あるいは二乗平均値の絶対値が大きい場合に目的変数への影響が大きいと判断する(式(1)，(2))。   

$$\text{Average}=\frac{1}{N}\sum _{i=1}^N{\alpha }_i$$(1)

  

$${\text{Average}}^2=\frac{1}{N}\sum _{i=1}^N{\alpha }_i^2$$(2)

しかしその偏微分値が大きく分散する場合に，その平均値だけで影響度を判断して良いのかという疑問がある。そこで，偏微分値の二乗平均値を分散(式(3))で除した値を正規化された感度値として，目的変数に対する重要度の評価を行うことができる。   

$$\text{variance}=\frac{1}{N}\sum _{i=1}^N{\left({\alpha }_i-average\right)}^2$$(3)

ただし，この指標はフィッティング曲線の傾きから求められていることから，データのばらつきに大きく依存してしまう可能性がある。

もう一つの入力変数の影響度判断手法として，ベイズ推定が考えられる。ベイズ推定の詳細な説明は専門書^8,9)に譲るが，式(4)で示すように，離散化された入力変数(の確率(P(A))と離散化された目的変数(の確率(P(B))の関係を学習し条件付き確率(P(B|A)，尤度関数ともいう)を求めた上で，入力変数の確率と条件付き確率を乗じたもの(P(B|A)・P(A))が事後確率(P(A|B))に比例するという考え方がベイズ推定の基本である。   

$$P\left(A|B\right)=\frac{P\left(B|A\right)P\left(A\right)}{P\left(B\right)}$$(4)

このベイズ推定を使うと，離散化された複数の入力変数(i)のそれぞれ確率(P(A_i))と目的変数の確率(P(B))を学習した上で，入力変数がある範囲の値を持つ場合にある範囲に入る目的変数の確率(事後確率P(A|B))がどのように変わるのかを推敲する事が可能となる。逆に，ある範囲の目的変数になる場合(事後確率P(A|B)=1と置くことに相当する)に，入力変数の確率を比較することにより尤もらしい原因を探ることができる^*1ので，入力変数の影響度を評価することができる。ベイズ推定によって影響度を判断する際にはデータを離散化して取り扱っており，データを連続関数で表しその傾きから求めた感度分析値のようなデータのばらつきの影響は小さいものと思われる。

*1　このことが，ベイズ推定が結果から原因を探ることができると言われる所以である。Bが生じたとき，その原因がA₁かA₂のどちらであるのかを考える。すなわち，$P\left(A_1|B\right)=\frac{P\left(B|A_1\right)P\left(A_1\right)}{P\left(B\right)},P\left(A_2|B\right)=\frac{P\left(B|A_2\right)P\left(A_2\right)}{P\left(B\right)}$を計算し，P(A₁|B)とP(A₂|B)の大小比較を行えばよい。原因としてA₁，A₂の2通りしか考えていないため，「Bが生起したとき，その原因がA₁かA₂のどちらかである確率」は1(100%)となる。このことから，P(A₁|B)+P(A₂|B)=1が得られ，ベイズの定理からP(B)=P(B|A₁)P(A₁)+P(B|A₂)P(A₂)がわかる¹⁶⁾。

別の観点から過学習を抑制する手法として，MacKay^5,6)あるいはFujiiら⁷⁾は，プロセスパラメータと特性間の関係を予測する手法を検討する一連の研究の中で，ANNで入力層(入力変数x)と隠れ層(隠れ変数y)の関係を表す関数(y=tanh(Σ_jω_ijx_j+θ_i)の重み係数(ω)と閾値(θ)に注目し，その最適化にエネルギー関数(式(5))を導入し，そのエネルギー関数を最小にする係数α_c，βをベイズ推定を使って求める手法を提案している。   

$$\text{M}\left(\omega \right)=\beta E_D+{\Sigma }_c{\alpha }_c{E}_{\omega \left(c\right)}$$(5)

ここでE_D，E_ω(c)はそれぞれ誤差関数(予測結果と実験データの差の二乗の合計^*2であり，差が小さいとE_Dは小さくなる)，正規化項(y(ω, θ)の関数を滑らかにする役割を担う。すなわち，ωを小さくすることを通じて^*3，データのばらつきに過度にフィッティングすることを抑制する効果がある。cは，入力層と隠れ層間の関数，隠れ層と出力層間の関数を区別するために付している)であり，β，α_cはモデルの複雑さを制御する定数(βはデータの分散σ_ν²=1⁄βを定義し，α_cは重み係数の分散σ²_ω(c)=1⁄α_cを定義している)である。ω，θが最適化すれば，入力変数の数を増やしても過学習が生じにくくなることが示されている。

*2　E_D(ω)=$\frac{1}{2}$Σ_m(y(x_m;ω)−t_m)², t_mは予測値。

*3　E_ω(c)(ω)=$\frac{1}{2}$Σ_iω_i²

ANNやベイズ推定などは総じて機械学習法と呼ばれている。機械学習法は，材料工学に基づかないでプロセスと組織と特性の相関を関連付けていると考えられる場合があるが，無意識のうちに入力変数をある程度絞り込んでいるところに材料工学的知見が取り入れられている。この材料工学に基づく知見がなければ，第一段階での的を射た入力変数の選択ができないのである。そういう点では，材料工学分野における機械学習法は，材料工学をある程度は取り込んでいることになる。

鉄鋼材料などの複雑系実用材料の機械的特性を，プロセスや組成から機械学習法で直接予測するのではなく，もう少し因果関係を明確にするためにも数値化された材料組織変数を介して予測する手法が必要と思われる。Pickeringら¹⁰⁾は，化学組成と結晶粒径などの比較的単純な組織特徴値を使って，回帰分析により個々の力学特性を予測することを試み，これまで広く重用されている。しかし，回帰分析のような線形回帰では予測精度に問題が残ることは自明である。また，考慮された組織特徴値が限られていることも予測精度を下げる要因となっているものと思われる。この点については，非線形関数で入力変数と目的変数を関連付けるANNは精度の面で有利であり，また昨今三次元(3D)で組織を観察する手法が普及し始め¹¹⁾，長さ，面積，体積率といったメートルが関係する組織特徴値(metric特徴値という)に加えて，連結性や数といった位相幾何学的特徴値も数値化が可能となっていることも考慮すべきであろう。

このような背景のもと，本研究では，数値化された組織特徴値を入力変数として，力学特性を機械学習により予測することを試みた。ここでは，降伏点(YS)や引張強度(TS)だけではなく，応力−ひずみ曲線全体を目的変数として予測する手法を検討した結果を述べる。機械学習法として，ベイズ推定による重要な入力変数の選択と，そこで選択された入力変数を使って非線形で目的変数との関連付けが可能なANN予測を組み合わせた手法を提案する。

2. 実験・解析方法

2・1　言葉の定義

本報告で用いる言葉の定義を予め説明する。材料組織(第二相体積率，形態，粒径，結晶配向度，粒界性格，粒内あるいは各相の硬さなど)のあらゆる特徴値を本報告では材料ゲノム(material genome)と称する。一方，材料ゲノムの中からいま注目している特性への影響があると判断され選択された入力変数のことを記述子(descriptor)と呼ぶ。

2・2　供試材と引張試験

ここで用いた供試材はTable 1に示す組成を有する低炭素フェライト−マルテンサイト二相鋼(DP鋼)である。その内訳は，冷間圧延(CR)後フェライト−オーステナイト二相域で焼鈍(焼鈍温度:1010，1023，1048 K，焼鈍時間:いずれも30分)し，その後空冷して得られたCR-DP鋼3鋼種，熱間圧延(HR)で組織制御されたHR-DP鋼4鋼種，HR-DP鋼を873 Kで30分時効処理(その後空冷)してマルテンサイト相の軟質化を狙ったHR-aged-DP鋼3鋼種を合わせて10試料用いた。全ての供試材の引張試験片(JIS5号(一部は13号))を室温で変形し，公称応力−公称ひずみ曲線を得た。後述するANN解析では，公称応力−公称ひずみ曲線を真応力−真ひずみ曲線に変換した上で，学習を行った。

Table 1. Chemical composition of steels used (wt.%).

Steel	Chemical composition (wt.%)	Process
CR-DP1	0.15C-0.10Si-1.0Mn-(P, S, Ni, Cr, Mo, Al)-Fe	CR → annealed at 1010 K for 30 min
CR-DP2	0.15C-0.10Si-1.0Mn-(P, S, Ni, Cr, Mo, Al)-Fe	CR → annealed at 1023 K fro 30 min
CR-DP3	0.15C-0.10Si-1.0Mn-(P, S, Ni, Cr, Mo, Al)-Fe	CR → annealed at 1048 K for 30 min
HR-DP1	0.049C-0.49Si-1.99Mn-(P, S, Al, N)-Fe	HR at 1173 K → AC → WQ from 923 K
HR-DP2	0.10C-0.49Si-1.99Mn-(P, S, Al, N)-Fe	HR at 1173 K → AC → WQ from 923 K
HR-DP3	0.10C-1.00Si-1.99Mn-(P, S, Al, N)-Fe	HR at 1173 K → AC → WQ from 923 K
HR-DP4	0.06C-0.09Si-1.2Mn-(Cr, Al)-Fe	HR at 1173 K → AC → WQ from 923 K
HR-aged-DP1	0.049C-0.49Si-1.99Mn-(P, S, Al, N)-Fe	Aged at 873 K for 30 min
HR-aged-DP2	0.10C-0.49Si-1.99Mn-(P, S, Al, N)-Fe	Aged at 873 K for 30 min
HR-aged-DP3	0.10C-1.00Si-1.99Mn-(P, S, Al, N)-Fe	Aged at 873 K for 30 min

2・3　組織観察と評価

得た組織は全て圧延方向に平行な断面を全自動シリアルセクショニング3D顕微鏡(Genus_3D)¹²⁾によりシリアルセクショニングし，そのセクショニング像を3D再構築した。3D再構築にはAVIZO fireあるいはAmiraを用いた。3D像から，マルテンサイト相の体積率(VM)，数(f)，貫通している穴(実際にはフェライトで埋まっている)の数(h)，内在している閉じた空間(=ボイド，実際にはフェライトで埋まっている)の数(v)を求めた。後三者は測定領域の体積で除した単位体積あたりの数で表示した。f，h，vは位相幾何学的解析手法により求めた(詳細は文献¹¹⁾を参照願いたい)。あわせて，微小ビッカース硬度計でフェライト相，マルテンサイト相の硬度(HF, HM)を測定した。荷重は統一して10 gfとし，10点平均値を各相の硬度とした。したがって，本報告では材料ゲノムはVM，HM，HF，f，h，vの計6個とした^*4。

*4　材料ゲノムとしてはこの他にもフェライト結晶粒径(更には粒界面積，エッジ，コーナー数に分けて議論することが必要)やフェライト粒界性格割合，フェライトの大角粒界の連結性，マルテンサイト中の貫通している穴や空洞のサイズなども今後取り入れて検討していくべきであろう。穴や空洞の数に加えてサイズも評価する新しい位相幾何学的手法としてパーシステントホモロジー群¹⁹⁾が注目されている。

2・4　ベイジアンネットワークとベイズ推定

影響のある材料ゲノムを見極める狙いでベイジアンネットワーク¹³⁾を構成し，ベイズ推定を行った。ベイジアンネットワークは，特に断らない限り，親ノードをVM，HF，HMとし，VMを親ノードに持つ子ノードをf，h，vとし，目的変数をYSおよびTSとする構成とした(Fig.1，Type 1)。なお，その他のベイジアンネットワークとして，VM，HF，HM，fを親ノードとし，VMを親ノードとするv，hを子ノードとするネットワーク(Type 2)や，VM，HF，HM，f，h，vを親ノードとしてYS，TSを目的変数とするシンプルな構成(Type 3)を含めて3種類構築したが，いずれも同様な傾向を示したので，本研究ではType 1のネットワークで全て入力変数の重要度評価を行った。

Fig.1.

 Bayesian networks.

ベイズ推定を行うにあたり，入力変数(A)，目的変数(B)共にデータを離散化処理し，ある範囲に入るデータの事前確率(P(A)，P(B))を求めた。次いで，入力変数がある水準の時(A=a₁)に目的変数がある水準(B=b₁)になる条件付確率(尤度関数，P(B=b₁|A=a₁))を求めた。更に，式4のベイズ推定を使って，目的変数がある水準の時に入力変数がある水準になる事後確率(P(A=a₂|B=b₂))を求めた。離散化処理はK-means法¹⁴⁾により行い，全ての入力変数は2水準，目的変数は3水準にデータを離散化した。

2・5　ニューラルネットワーク

ベイズ推定の結果を参考に材料ゲノムの中から重要と思われる記述子を入力変数として選択して，過学習をできるだけ抑制した上でANN解析を実施した。本報告で使用したANN解析ソフトウェア(NeuralWare社製ニューラルワークスPredict)では，カスケードコリレーション法¹⁵⁾に基づいて最適なネットワーク構造が決められる。カスケードコリレーション法の特徴は，入力層と出力層(目的変数)の間の相関が出来るだけ高くなるように隠れ層(隠れ変数)を必要に応じて次々と挿入する手法で，結果として，カスケードコリレーションによるネットワークは与えられた問題に適応した大きさに成長する(詳細は文献を参照願いたい¹⁶⁾)。実際のANN解析の概要は以下の通りである。

(1)入力変数をいくつかの関数形で表現してみて，その計算結果と出力変数の相関係数が最も高くなるものを探す。見つかれば，正規化して表現し，ネットワークへの入力とする。

(2)隠れ変数(正規化済み)を，入力変数(正規化済み)の関数(閾値と重み)で表現し，さらにシグモイド関数あるいは双曲線正接関数(tanh)で最終表現する。

(3)正規化済みの入力変数，隠れ変数を，関数表現(閾値と重み)して，出力変数を表現する。さらにそれをシグモイド関数で最終表現する。

(4)出力された正規化の値を実スケールに逆変換し，最終解を表示する。

本研究では，主に，影響度の高い入力変数を選択することによりANN解析結果の精度向上を図っているが，同時にばらつきがある入力データを対象にしたANN解析で過学習が生じたとしてもできるだけ誤差が小さくなるようすることも重要である。そこで，緒言で述べた正規化項の係数α_cに重み減衰値(入力層→隠れ層，隠れ層→出力層それぞれに0.00001から0.05の範囲で設定した)を入力しエネルギー関数M(ω)の値を出来るだけ小さくすることを通じてフィッティング関数の係数(ω, θ)の最適値を探ることについても検討した^*5。

*5　出力変数と学習データの誤差から中間層→出力層の相関関数の係数(ω，θ)を修正し，次に入力層→中間層の間の相関関数の係数を修正する。このように，誤差を逆に伝播させることから誤差逆伝播法といわれている。

ニューラルワークスPredictでは遺伝的アルゴリズムにより入力変数を選択する機能があるが，本研究ではベイズ推定によって記述子の優先度を決めており遺伝的アルゴリズムによる入力変数選択は行わなかった。また，ANNでは全データセット数の中から何割かを学習データとして用いてモデルを構成し，そのモデルの妥当性を残りのデータを使って検証(テスト)している。本研究では全データセット数の70%を無作為に選択して学習を行った^*6。学習結果，テスト結果の評価は実験データとの予測結果の相関(相関係数R)ならびに隠れ層の数を検証する事により行った。

*6　学習セットを繰り返し学習させることで，隠れ層や重み係数，閾値の決定が行われる。しかし，繰り返しが十分大きくなると学習セット固有の特徴を学習し始めて，過学習になってしまう。過学習を防ぐため，学習の繰り返し回数を決めるため，テストセットによる評価の変化を繰り返し毎にモニタリングした。その評価が変わらなくなった時点を学習終了とした。

本研究の一つの特徴は，YSなどの単一の特性をANNで予測するのではなく，真応力−真ひずみ曲線全体を予測することを試みている点である。これを可能とするために，各真ひずみ(ε_t，YSあるいは0.2%耐力(σ_0.2)およびそれ以降のTSまでの0.01間隔でのひずみ)での真応力の値を組織特徴値に加えて記述子として採用し，ANN解析に供した。従って，鋼種(組織特徴値のセット数)は10個であるが，全データセット数は212である。

3. 実験結果

3・1　機械的特性と組織特徴値の定量化

本研究で得られたDP鋼の2D，3D組織写真例およびその公称応力−公称ひずみ曲線をFig.2，3に，また組織特徴値の一覧をTable 2に示す。Table 2にはYS(降伏点が明確ではない場合，YSの代わりにσ_0.2を示し，特に断らない限り本報告では総じてYSと称することにする)およびTS，全伸び(tEl)，均一伸び(uEl)も併せて示されている。CR-DP鋼はマルテンサイトの体積率が36-53%と比較的高く，HMは390-540であり，またf，h，vの値もHR-DP鋼と比較して高いことが特徴である。YSは472-600 MPaであり，TSは892-961 MPa，tElは9.6-11%，uElは7-9.2%である。一方，HR-DP鋼はマルテンサイトの体積率が4-32%であり，HMは472-515であり，またf，h，vはCR-DP鋼に比べて著しく低い。YSは288-535 MPaであり，TSは574-814 MPa，tElは20.5-32.8%，uElは12.6-18.5%である。HR-aged-DP鋼はHMが254-306と低くなっていることが特徴で，マルテンサイト体積率および形態に関する特徴値はHR-DP鋼と同じである。YSは353-481 MPaであり，TSは452-586 MPa，tElは25.5-33.1%，uElは16-19.4%であり，時効処理を施していない対応鋼種と比較するとYSが高くなっている特徴がある。CR-DP鋼，HR-DP鋼共に公称応力−公称ひずみ曲線(Fig.3)は連続降伏型であるのに対して，HR-aged-DP鋼では不連続降伏型を示すことも特徴である(YSあるいはσ_0.2を図中に矢印で示す)。なお，全供試材のHFは180-230の範囲であった。

Fig.2.

 Examples of microstructures examined. (a) CR-DP1, (b) HR-DP1.

Fig.3.

 Examples of nominal stress-nominal strain curves of steels examined.

Table 2. Mechanical properties and material genomes of steels used.

Steel	YS or σ0.2 (MPa)	TS (MPa)	uEl (%)	tEl (%)	HF	HM	VM (%)	f (μm–3)	h (μm–3)	v (μm–3)
CR-DP1	472	892	9.2	11	200	540	36.33502	0.002904	0.038129	4.97E-05
CR-DP2	542	961	8.1	11	190	480	46.89497	0.002153	0.038993	0.000323
CR-DP3	600	919	7	9.6	210	390	52.85318	0.000702	0.013356	0.000308
HR-DP1	288	574	17.9	32.8	180	499	8.573428	0.00018	9.31E-05	2.91E-06
HR-DP2	377	775	12.7	20.5	202	472	32.46792	7.12E-05	0.000792	1.78E-05
HR-DP3	388	814	12.6	20.8	225	515	28.3291	0.000247	0.000836	0.000106
HR-DP4	320	535	18.5	30.9	214	446.4	4.3	0.00014	2.11E-05	0
HR-aged-DP1	353	452	19.4	33.1	201	281	8.573428	0.00018	9.31E-05	2.91E-06
HR-aged-DP2	414	521	16.7	27.7	181	254	32.46792	7.12E-05	0.000792	1.78E-05
HR-aged-DP3	481	586	16	25.5	230	306	28.3291	0.000247	0.000836	0.000106

3・2　ベイズ推定

Type 1のベイジアンネットワークを使って学習した上で，YSおよびTSの範囲が特定の範囲に入るときの入力変数(記述子)の事後確率を求めた。YS，TS共に高強度域(強度が3水準中1，2番目に高い水準)になる場合VMが22%以上の高い水準になる事後確率が高くなった(Fig.4(a))。特に注目すべき点は，VMが高い水準になる事後確率が他の入力変数の中で最も高いことである。これは，本研究の範囲内では，高強度化する最大の要因がVMであることを示唆しているものと考えられる。YSが高く(低く)なる時に，HMが低い(高い)水準である事後確率が上がっている(Fig.4(b))一方で，ややTSが高くなる時(第2番目の水準)に，HMが高い水準になる事後確率が上がっている。換言すれば，HMが高くなるとYSが低下する傾向にあり，TSはやや増加する傾向にあるといえる。同様に結果を確認すると，YSおよびTSが高強度化水準である時に，f，h，vが高くなる事後確率が高くなる(Fig.4(d)-(f))。一方，YS，TSにHFの寄与は小さいという結果となった(Fig.4(c))。まとめると，YSおよびTS共に増加させる要因としてVM，f，h，vが挙げられ，HMはYSを低下させるという一見理解し難い結果となり，一方TSを増加させるという結果となった。HMがYSを低下させる原因については，考察のところで議論する。

Fig.4.

 Posterior probability of material genomes (HM, VM, HF, f, h, v) for yield stress (YS) and tensile stress (TS).

3・3　ニューラルネットワーク解析

上述したベイズ推定の結果より，YSおよびTSに影響がある入力変数としてVM，HM，f，h，vが挙げられた。特に，今回の実験範囲ではVMは最もYSおよびTSを増加させる記述子であることが確認された。そこで，ANN解析の記述子として，まず初めにVM(およびε_t)を取り上げ，その後VMとHM(およびε_t)，そしてすべての記述子(All=VM+HM+f+h+v+ε_t，ただし，ベイズ推定結果で今回の実験範囲では影響がないと判断されたHFを除く)を入力変数としたANN解析を実施し，予測結果と実測した真応力−真ひずみ曲線の比較を行った。

Fig.5に選択した記述子を変えた場合の予測結果の例を示す。重み減衰値は隠れ層については0.0005，出力層については0.0001とした。図中，プロットは実測データである。図中には，隠れ層の数と学習結果とテスト結果のR値も合わせて示す^*7。VM(+ε_t)の記述子では実測値へのフィッティングが不十分(テスト結果のR=0.8500，隠れ層9.2)であることが分かる。ただし，VM以外の他の因子ではこの程度のフィッティングさえも不可能であり，VMは最も重要な記述子であると考えられる。ここにHMの記述子を加えて解析すると，実測値へのフィッティングがかなり改善される(テスト結果のR=0.9914，隠れ層14.6)。ただし，隠れ層を14.6個作って，フィッティングがなされており，いまだに不明な記述子が多くあることを示唆している。更に記述子を増やして“All”にすると，Rの値はやや低下するがそれでも高値を保ったまま，隠れ層が6.8個まで減少しており，予測が改善していると判断される(テスト結果のR=0.9900，隠れ層6.8)。

Fig.5.

 Prediction of a true stress-true strain curve by artificial neural network (ANN). Weight decay coefficient: 0.0005 (hidden layer) / 0.0001 (output).

*7　学習データとテストデータの組み合わせをランダムに変更した5回の検証結果の平均値を示す。

さらに，ANNで過学習をできるだけ抑制するための検討の一環で，重み減衰(式(5)中正規化項の係数α_c)を変化させた場合の影響を調べた(Fig.6)。記述子は“All”とした。重み減衰を本研究の中では中程度である0.005(隠れ層)/0.001(出力層)とした場合に，最もテスト結果と実測データの相関(R=0.9849)と隠れ層の数(4.6)のバランスが良くなった。この結果は，今回の実験データはある程度データのばらつきがあり，エネルギー関数の正規化項を通して入力変数→隠れ変数，隠れ変数→出力変数の関数を，過学習を抑制して，最適化出来る余地があることを示唆しているものと思われる。なお，比較までにFig.6中の右列には最小二乗法で線形回帰した場合(即ち，隠れ層を零とし，入力データと出力データの関係を直線で表現する)の結果を示す。線形回帰した結果はANNによる予測結果に比べて実験値との相関が低い(テスト結果のR=0.9574)。

Fig.6.

 Prediction of a true stress-true strain curve by artificial neural network (ANN). Descriptors: all. ANN1: Weight decay coefficient 0.0005 (hidden layer) / 0.0001 (output), ANN2: 0.005/0.001, ANN3: 0.05/0.01.

4. 考察

実験結果のようにビッグデータがなかなか集まりにくい場合に，如何に限りあるデータ(スモールデータ)で精度の良い予測を行うかといった検討が重要である。本研究では，DP鋼の応力−ひずみ曲線を予測するにあたり，ベイズ推定により重要な組織特徴値の記述子を見定め，それを最重要と判断された記述子から始めて順次過学習が起きない範囲で記述子の数を増やしながらANNに入力し，実測結果を高い精度でフィッティングし予測につなげる検討を行った(Fig.7)。その結果，数ある材料ゲノムの中からベイズ推定により影響度の高い記述子を選択した上でANN解析し，そこで得た予測結果の質を隠れ層の数と実験結果との相関Rを指標に検証できるものと考えられた。更に，正規化項の最適化により過学習をさらに抑制できる可能性があることも確認できた。

Fig.7.

 A procedure of Bayesian-neural network analysis to make property prediction reliable as possible.

しかし今回入力した記述子による予測では，未だにいくつかの隠れ層があるという結果になり，不明な記述子があることが示唆された。実験データセット数が豊富な場合，その他の数値化された組織記述子を入力すれば理想的には隠れ層がゼロのANN予測ができるはずであるが，今回のようにデータセット数が限られる場合には記述子を無用に増やすことは過学習を引き起こして予測精度が劣化することになり望ましくない。このような場合には，限定された重要な記述子で，たとえ隠れ層があったとしても，ANN解析を行うことが妥当と考えられる。

マルテンサイト中に貫通している穴(h)や空洞(v)が高い水準になると，YSやTSが高くなる確率が上昇する結果について考察する。hやvでは，軟質相のフェライトが周囲のマルテンサイトによって拘束されていることになる。この場合，フェライト相の塑性変形が抑制されることになり，フェライト相は硬質化すると考えられる¹⁷⁾。その結果，h，vが高い場合に，DP鋼の強度が増加するものと考えられる。事実，友田らはマルテンサイト連結性の異なるDP鋼を作成し，加工硬化率が連結材で高くなることを示している¹⁸⁾。

マルテンサイトの硬さHMが低下する時にYSが増加するといった一見理解し難い結果が得られた。この事について以下考察する。DP鋼はYSが低くしかも連続降伏型で，加工硬化が高く，その結果高いTSの割には均一伸びが高いということがよく知られている。YSが低く，連続降伏型であることについては，組織生成過程で導入されたフェライト/マルテンサイト界面に先在するフェライト中転位が変形時に容易に動くため，低YSでありしかも連続降伏を示すと考えられている。実際，HR-DP3鋼のフェライト/マルテンサイト界面にはFig.8(a)のような転位が存在し，従来知見と一致する。本研究では，マルテンサイトを軟化させることを目的として時効処理を行ったが，その時効により界面近傍のフェライト中の転位が回復し消滅したかあるいは固溶炭素もしくは微細な炭化物によって転位がピン止めされ不動化することによって，YSが上昇しまた不連続降伏型に応力−ひずみ曲線が変化した可能性がある。時効処理を加えたHR-aged-DP3鋼の透過型電子顕微鏡観察を行ったところ，Fig.8(b)に示すように界面転位が残存していることが確認された。よって，時効処理によってYSが上昇しまた不連続降伏型となった原因は，固溶炭素もしくは微細な炭化物によって界面転位がピン止めされて不動化したことにあるものと考えられる。したがって，M相の硬さとは別に，フェライト中の可動転位の有無(望ましくは可動転位密度であるが，実測が困難である)を記述子として考慮することにより，YSに及ぼす時効の影響をANN学習できる可能性があり，今後の課題である。

Fig.8.

 TEM micrographs showing dislocation structures in the vicinity of an interphase boundary. (a) HR-DP3, (b) HR-aged-DP3.

データセット数が増えANNの学習の精度が一層改善されれば，特定の組織記述子のみが変化した時に応力−ひずみ曲線がどのような変化するのかを予測することが可能になるものと思われ，材料開発に要する期間を短縮し材料開発の効率を改善することに繋がることが期待される。本研究ではまだデータセット数が十分ではないが，Fig.9(a)(b)には，一例として，CR-DP1の記述子の中でVMあるいはHMのみが変化した場合の真応力−真ひずみ曲線と加工硬化率の変化挙動のANN予測結果を示す。塑性不安定条件(dσ_t/dε_t=σ_t)より，均一伸び(uEl)も分かることから，データセット数が増えてより精度の高い応力−ひずみ曲線が予測できるようになると，強度−伸びバランスの予測も可能と思われる。

Fig.9.

 ANN prediction of true stress-true strain curves as a function of (a) VM or (b) HM. Other descriptors are same with that of CR-DP1.

今後の課題として，組織記述子の評価方法の標準化など評価者に依存しない信頼性のある組織の数値化手法の普及が進むこと，そして関係者間で情報が共有できるマテリアルズゲノムのアーカイブ化が重要であろう。同時に，上の階層から下の階層へANN予測している間に各階層で重要な記述子を自動認識して無教師学習する先端的人工知能(Deep learning)を使ってプロセス−組織−特性の関係を定量評価する技術がさらに進展することが期待される。

5. 結論

DP鋼の応力−ひずみ曲線を，限りあるデータセット数(スモールデータ)でできるだけ精度よく予測する機械学習法について検討し，以下の知見を得た。

(1)ベイズ推定により重要な記述子を見定めることが可能であり，スモールデータ環境下でのニューラルネットワーク(ANN)予測に入力する記述子を選択する際の一つの有用な手法と考えられる。

(2)ベイズ推定で判定された影響度の高い記述子から，過学習が起こらない範囲で，順次ANN解析の入力変数として入力していくと，スモールデータ環境下での最適なANN予測が可能と考えられる。ANNによる実験データへのフィッティングの質の評価基準として，隠れ層の数と，予測結果と実験結果間の相関係数R(学習結果とテスト結果の交差検証が更に有用)が有用と思われる。

(3)重み減衰を使って正規化項を最適化することにより，ANN解析の過学習を抑制できる可能性があることを確認した。

(4)DP鋼の降伏点(YS)および引張強度(TS)に影響度が最も高いのはマルテンサイトの体積率VMであるという結果を得た。また，YSおよびTS共に増加させるとベイズ推定で判定された記述子はVM，マルテンサイトの数密度f，マルテンサイト中の貫通した穴の数h，マルテンサイト中の閉じた空間数vであり，マルテンサイトの硬さHMが高い場合YSは低下し，一方TSは増加するという結果であった。

(5)HMが高い(低い)場合にYSが低下(増加)するのは擬似相関であり，時効することによりHMは下がる一方でフェライト/マルテンサイト界面近傍のフェライト中転位が固溶炭素もしくは微細炭化物によってピン止めされ不動化したことに起因してYSが増加しまた応力−ひずみ曲線が不連続降伏型になったものと考えられる。

(6)記述子の一つに応力−ひずみ曲線におけるひずみを入れて，各ひずみにおける応力をANN学習することにより，応力−ひずみ曲線全体をある誤差範囲内で予測することが可能である。

謝辞

本研究は，日本鉄鋼協会鉄鋼研究振興助成(H25，26年度)を受け，また研究会「鉄鋼インフォマティクス」の一環で実施したものである。実験，解析には瀬戸口翔平，荒木貴史，橋本康司，増田雄太の各氏にご協力いただいた。ニューラルネットワークの解析にあたっては，松下康弘氏(SETソフトウェア株式会社)の助言を頂いた。ここに各位に謝意を表する次第である。

文献

• 1)   N.  Tsuchida,  S.  Harjo,  T.  Ohnuki and  Y.  Tomota: Tetsu-to-Hagané, 100(2014), No.10, 1191.
• 2)   Y.  Tomota,  K.  Kuroki,  T.  Mori and  I.  Tamura: Mater. Sci. Eng., 24(1976), 85.
• 3)   T.  Koyama: ISIJ Int., 52(2012), 723.
• 4)  加藤雅治:入門 転位論，裳華房，東京，(1999), 150.
• 5)   D.J.C.  MacKay: Neural Computations, 4(1992), 415.
• 6)   D.J.C.  MacKay: Neural Computations, 4(1992), 448.
• 7)   H.  Fujii,  D.J.C.  MacKay and  H.K.D.H.  Bhadeshia: ISIJ Int., 36(1996), 1373.
• 8)  松原望:ベイズ統計学概説−フィッシャーからベイズへ−，培風館，東京，(2010).
• 9)  渡部洋:ベイズ統計学入門，福村出版，東京，(1999).
• 10)   F.B.  Pickering: Physical Metallurgy and Design of Steels, translated by T.Fujita, K.Shibata and M.Tanino, Maruzen, Tokyo, (1981), 1.
• 11)   N.  Sato,  S.  Sadamatsu and  Y.  Adachi: Tetsu-to-Hagané, 100(2014), No.10, 1182.
• 12)   Y.  Adachi,  N.  Sato,  M.  Ojima,  M.  Nakayama and  Y.T.  Wang: Proc. of First Int. Conf. on 3D Materials Science, Seven Springs, TMS, Pennsylvania, (2012).
• 13)   J.  Pearl: Proc. 7th Annual Conf. of the Cognitive Science Society, The Congnitive Science Society, Texas, (1985), 329.
• 14)   J.B.  MacQueen: Proc. 5th Berkeley Symposium on Mathematical Statistics and Probability, University of California Press, California, (1967), 281.
• 15)   S.E.  Fahlman and  C.  Lebiere: Advances in Neural Information Processing Systems: Proc. the First 12 Conferences, The MIT Press, Cambridge MA, 2(1990), 524.
• 16)   Y.  Adachi,  S.  Sadamatsu,  Y.  Masuda,  T.  Yoshida and  Y.  Matsushita: J. Jpn. Inst. Light Met., 64(2014), No.11, 533.
• 17)  佐藤直子:3次元組織解析を用いたフェライト−マルテンサイトDual-Phase鋼の変形・破壊挙動の基礎的研究，九州大学，(2013), 博士論文.
• 18)   Y.  Tomota and  I.  Tamura: Tetsu-to-Hagané, 67(1981), 439.
• 19)  平岡裕章:タンパク質構造とトポロジー(パーシステントホモロジー群入門 シリーズ・現象を解明する数学)，三村昌泰，竹内康博，森田善久編，共立出版，東京，(2013).