2021 年 20 巻 3 号 p. 100-102
The simulation to obtain stress-strain curves of block copolymers requires large computational resources. As an alternative to simulation, a method for high-throughput prediction of stress-strain curves using a three-dimensional convolutional neural network has been reported. In this study, we incorporated shortcut coupling into the neural network and performed pre-training and transfer learning in a step-by-step manner to successfully predict the stress-strain curve with high accuracy while reducing the training cost.
The simulation to obtain stress-strain curves of block copolymers requires large computational resources. As an alternative to simulation, a method for high-throughput prediction of stress-strain curves using a three-dimensional convolutional neural network has been reported. In this study, we incorporated shortcut coupling into the neural network and performed pre-training and transfer learning in a step-by-step manner to successfully predict the stress-strain curve with high accuracy while reducing the training cost.
ブロック共重合体の応力ひずみ曲線のシミュレーションは大きな計算リソースを必要とする [1]．シミュレーションの代替として，3次元畳み込みニューラルネットワークを用い，応力ひずみ曲線をハイスループットに予測する手法が報告されている [2]．本研究では，ニューラルネットワークの構造と学習方法の改善により，学習コストを抑えながら予測精度を高めることを目的とした．
ABA対称トリブロック共重合体について，シミュレーションで得られた準安定構造の3次元メッシュ(64×64×64)上の体積分率データ及び応力ひずみ曲線を用いる．シミュレーションは，自己無撞着場理論(SCFT)シミュレーションと粗視化分子動力学(CGMD)シミュレーションを組み合わせた [2]．サンプル数は，8種類のA組成0.15，0.20，0.25，0.30，0.40，0.45，0.50についてそれぞれ20サンプル，計160サンプルである．x，y，z方向に引張変形を適用し，1つの構造から3つの応力ひずみ曲線を取得した．合計480セットの構造と応力ひずみ曲線が作成された．応力ひずみ曲線データは101次元である．
画像認識に広く利用される2次元畳み込みニューラルネットワークの認識精度向上のための構造として，ResNet [3]やSeNet [4]に代表されるショートカット機構が知られている．本研究では，SeNetで用いられるGlobalPooling層を用いたショートカット機構を参考に，3次元畳み込みニューラルネットワークへのこれらの適用を考案した．また本研究では，入力データの正規化や転移学習といった，それぞれ機械学習や深層学習において広く用いられている手法を採用した．
体積分率データから応力ひずみ曲線を予測するニューラルネットワークとして，次に示す5種類のモデルを比較した．モデル1 (3D CNN)は先行研究 [2]で用いられた3次元畳み込みニューラルネットワークである．モデル2 (No Normalization)は，ショートカット機構を採用し，3次元畳み込み層への入力は正規化していないモデルである．モデル3 (With Normalization)は，ショートカット機構を採用し，3次元畳み込み層への入力を平均値で除算することで正規化したモデルである．モデル4 (PreTrained)は，GlobalPooling側のDense層のみを事前学習したモデルであり，高速に学習が可能である．モデル5 (Transfer)は，モデル3と同じ構造であるが，学習方法としてモデル4の事前学習パラメータを固定し，3次元畳み込み側を転移学習したモデルである(Figure 1)．
The three-dimensional convolutional neural network (3DCNN) architecture.
モデルの評価は，体積分率データは同じだが引張方向が異なるサンプルは同じグループとするグループ付きk分割交差検証(k=5)により行った．評価関数は平均二乗誤差(MSE)を用いた．
最適化アルゴリズムにはAdamを採用し，それぞれのモデルを1000 epochずつ学習した．モデル5はモデル4の事前学習として2000 epoch学習したとみなせるため，比較のためにモデル3は2000 epoch学習させ，過学習せずに検証誤差が改善していることを確認し， 2000 epochの結果を採用した．
各モデルについて，交差検証誤差を比較した(Figure 2)．モデル1 (3D CNN)とモデル2 (No Normalization)では過学習のため，誤差が大きくなった．モデル1 (3D CNN)，モデル4 (PreTrained)，モデル5 (Transfer)の学習曲線をFigure 3に示す．モデル3 (With Normalization)，モデル4 (PreTrained)，モデル5 (Transfer)の交差検証誤差の拡大図をFigure 2 (b)に示す．モデル3の結果が良い交差検証もあるが，平均的にはモデル5が最善となった．
Validation loss of each model. (a) All 5 models, (b) enlarged view of the three models with particularly low validation loss for comparison.
Learning curve of each model. MSEs are averaged over cross-validation.
ショートカット結合及び正規化をした体積分率データを用いたことで，先行研究の3次元畳み込みニューラルネットワークに比べて精度が向上し，過学習を抑制できた．さらに転移学習を取り入れた段階的な学習により，学習コストを抑えながら精度を向上させた．
本研究はJSPS科研費JP17H06468，JP17H06464，JP17H06460の助成を受けたものです．
