Data-driven Reaction Pathway Estimation with Efficient Use of Small Number of Data

Abstract

Chemical reaction neural network (CRNN) is a machine learning model that enables a data-driven search of chemical reaction mechanisms by incorporating reaction kinetics theory into the neural network architecture. Conventionally, 10³ order data were required for searching a simple reaction system, but the reduction in the number of data required for CRNN is expected to enable its application to various experimental systems. In this study, we investigated the number of data required for prediction in the CRNN. The result showed that prediction of the reaction is possible with as few as 180 data by avoiding falling into local optimal solutions. We also confirmed that incorporating the concept of material balance into loss function has effect of reducing the computational complexity.

Translated Abstract

Chemical reaction neural network (CRNN) is a machine learning model that enables a data-driven search of chemical reaction mechanisms by incorporating reaction kinetics theory into the neural network architecture. Conventionally, 10³ order data were required for searching a simple reaction system, but the reduction in the number of data required for CRNN is expected to enable its application to various experimental systems. In this study, we investigated the number of data required for prediction in the CRNN. The result showed that prediction of the reaction is possible with as few as 180 data by avoiding falling into local optimal solutions. We also confirmed that incorporating the concept of material balance into loss function has effect of reducing the computational complexity.

1 はじめに

反応機構は化学システムに関する様々な情報を与えるものであり，反応機構の解明は反応の最適化や触媒の効率的な開発に繋がる．しかしながら，現実の反応の多くは複雑であり，反応機構を解明することは未だ課題である．従来の反応工学的な反応機構解析では反応経路を事前に仮定する方法が用いられることが多いが，複雑な反応系に対して仮定及び検証を行うことは大きな労力を要する．また量子化学計算を用いた方法も研究がなされているが，素反応レベルの予測であるため大きな反応系に対しては計算量等の問題から適用する事が難しい [1]．

そこで近年，機械学習を利用したデータ駆動での反応機構自動構築手法開発が盛んに行われている [2]．中でもJi and Deng (2021)が提案した化学反応ニューラルネットワーク(CRNN)と呼ばれる手法は，ニューラルネットワークの構造に反応速度論に基づく関係を組み込んでおり，理論から逸脱せず反応機構解明することを可能としている [3]．具体的には，Figure 1に示すようにニューラルネットワークの入力を濃度の対数，活性化関数を指数関数(exp (·))とすることで計算過程がべき乗則からなる速度式に対応する．

Figure 1.

 CRNN Architecture [3].

これにより，重みを量論係数，バイアスを速度定数と解釈することが可能であり，原料及び生成物濃度の時間変化を学習させることで反応経路と速度定数の同時推定が可能である．ただし，既往研究においてCRNNは比較的単純な反応機構の推算に10³個程のデータを使用している．使用データ数は経済的及び時間的コストに直結するため，少数データからの反応機構構築が望まれる．そこで我々は，データの効率的な取得及び利用(データ拡張や転移学習)，更なる物理化学法則の組み込み等の工夫によってCRNNの必要データ数の削減と様々な反応系への適用を目指している．本研究ではその第一歩として，1つのモデル反応系を対象とし，CRNNを用いた予測に必要なデータ数を検証すると共に，物理化学法則として物質収支の概念を利用することを検討した．

2 方法

2.1 検証方法

モデルの検証にはTable 1に示す反応系 [3](5 化学種，4 反応)を用いた．与えられた反応経路及び速度定数より仮想的な実験データを作成し，実験誤差を考慮して濃度の5%のノイズを加えて学習データとした．この学習データを用いて反応式と速度定数を予測し，予測値と正しい反応式及び速度定数の比較によりモデルを評価した．評価には量論係数及び速度定数の平均絶対誤差(MAE)を用いた．なお，CRNNの重みとバイアスの初期値により局所解に陥る可能性があるため，初期値を15点変更して最適化計算を行いその結果の平均とばらつきを用いて評価した．既往研究 [3]では，初期濃度30点に対し時間変化100点を観測した計3000点の学習データを使用したのに対し，本研究では学習データ数を削減しながら予測精度の変化を調査した．

Table 1  Model reactions used for validation

Reaction	Rate constant
$\text{B}+\text{D}\to \text{E}$	0.30
$2\text{A}\to \text{B}$	0.10
$\text{A}\to \text{C}$	0.20
$\text{C}\to \text{D}$	0.13

2.2 物質収支式の導入

より少ないデータからの予測を可能とすることを期待して，物質収支に関する罰則項(MBP，Eq. 1)をCRNNの損失関数へ組み込むことを検討した．   

$\frac{1}{a\times n_r}\sum _{i=1}^{n_r}\left(\sum _{m=1}^{n_s}\left|c_m{w}_{mi}\right|\right)$(1)

ここで，aはハイパーパラメータ，n_rは反応数，n_sは化学種数，c_mは化学種mに含まれる原子数，w_miは反応iにおける化学種mの量論係数である．このMBP項は予測が物質収支式を満たさない場合にその度合いに応じて大きな値を返す関数となっている．本研究では反応種[A, B, C, D, E]に対して含まれる任意の原子の数を [1, 2, 1, 1, 3]と仮定することでMBP項を適用した．また，ハイパーパラメータ$a$は10000 として検証を行った．

3 結果と考察

3.1 学習データの削減

初期濃度に関して既往研究 [3]の20 データセットより1 つずつ減少させて検証を行った結果をFigure 2に示す．トレーニングデータ数が15 のときにMAEが大きな値となったが，これは大きく外れた局所解に陥る場合が含まれたためであり，正しく予測を行える場合も存在することを確認した．トレーニングデータ数を10 程度まで減少させた場合においてもトレーニングデータ数が20 の場合と大きな差が見られず，予測が正しく行えることが確認された．一方，さらにデータ数を削減するとMAEが増加する傾向が見られた．

Figure 2.

 Relationship between MAE and number of initial concentration condition in training data.

次に，各初期濃度に対する時間変化の観測データ数を減少させて検証を行った結果をFigure 3に示す．

Figure 3.

 Relationship between MAE and number of sampling time points in training data.

時間変化の観測データが10 点以上の場合においては正しく予測が行えることを確認した．一方，データ数が10点を下回ると予測を正しく行えていない場合が増え，MAEも高い値を示した．

ここまでの検討の中で，CRNNは速度式による制約を受けるモデルであるため，過学習を生じにくい傾向が確認された．よって，既往研究 [3]で検証データとしていた初期濃度を変化させた10 データセットを用いる必要は無いと判断した．その上で，初期濃度，時間変化サンプリング数を同時に削減して調査した結果，初期濃度12データセット，時間変化サンプリング15 点の計180 点を使用した場合でMAEの平均が0.046 となり正しく予測が行えることを確認した．一方，さらに使用データ数を削減して初期濃度10データセット，時間変化サンプリング10 点の計100 点を使用した場合MAEの平均が0.337 となり正しく予測を行えないことを確認した．

3.2 物質収支罰則項の導入

更なる物理法則としてMBP項を導入することで使用データ数の削減を試みた．しかしながら，MBP項の導入により使用データ数が減少する挙動は確認出来なかった．一方，MBP項の導入によりCRNNでの学習完了までに必要な重みの更新回数(Epoch数)が減少することが示唆された．Figure 4に3000 点のデータを用いた場合におけるEpoch数と損失関数の関係を示す．Figure 4よりMBP項の導入前では損失関数の最低値の探索に15000 Epoch程を要していたが，MBP項の導入後では12000 Epoch程で最低値の探索を行えることが確認された．

Figure 4.

 Change of loss function during CRNN training

(a) conventional CRNN; (b) with MBP constraint.

以上の結果よりCRNNでは5 種， 4 反応を含む反応系に対して180点程度のデータを用いることで予測が可能であることが示された．また，物質収支を導入する事で予測に必要な計算量の減少が確認された．よって，自明な物理化学法則を機械学習モデルに組み込むことは予測性能に対して良い効果を与えていると推察される．今後，データ取得方法やデータ利用方法を検討することにより更なる効率化が期待される．

4 結論

CRNNを用いて5 化学種， 4 反応を含む反応系に対し速度モデルの予測を行う際の必要データ数を調査した．既往研究では3000 点(初期濃度30 通り×時間変化100 点)のデータを使用していたのに対し，局所解の識別のためにニューラルネットワークの重みの初期値を15 通り変化させて計算を行い，速度式の制約により過学習を生じにくい点に注目して検証データを廃止する事で180 点(初期濃度12 通り×時間変化15 点)でも予測が可能であることを明らかにした．また，物質収支式に相当するMBP項を導入する事により，予測を行う際の計算量が減少することを確かめた．

参考文献

• [1]   Y. Sumiya, Y. Harabuchi, Y. Nagata, S. Maeda, JACS Au, 2, 1181 (2022). doi:10.1021/jacsau.2c00157 PMID:35647604
• [2]   L. Mengjie, et al., J. Chem. Inf. Model., 61, 2686 (2021). doi:10.1021/acs.jcim.0c01480 PMID:34048230
• [3]   W. Ji, S. Deng, J. Phys. Chem. A, 125, 1082 (2021). doi:10.1021/acs.jpca.0c09316 PMID:33471526