シンボリック回帰における外挿性の検証とペロブスカイト触媒への応用

Abstract

The recent advances in artificial intelligence (AI) have accelerated the development of data-driven modeling. Complex machine learning models often lack interpretability. Symbolic regression, particularly in the fields of mathematics and physics, has provided alternative models that are interpretable and have excellent extrapolation capabilities. In this study, we investigated the potential of symbolic regression in chemistry, specifically in the exploration of new materials through extrapolation. We conducted fundamental verification of extrapolation and applied research on the exploration of perovskite catalysts using the recursive-LASSO-based symbolic regression. Our results suggested that symbolic regression exhibits superior extrapolation performance and interpretability compared to conventional machine learning methods.

Translated Abstract

The recent advances in artificial intelligence (AI) have accelerated the development of data-driven modeling. Complex machine learning models often lack interpretability. Symbolic regression, particularly in the fields of mathematics and physics, has provided alternative models that are interpretable and have excellent extrapolation capabilities. In this study, we investigated the potential of symbolic regression in chemistry, specifically in the exploration of new materials through extrapolation. We conducted fundamental verification of extrapolation and applied research on the exploration of perovskite catalysts using the recursive-LASSO-based symbolic regression. Our results suggested that symbolic regression exhibits superior extrapolation performance and interpretability compared to conventional machine learning methods.

1 はじめに

近年，化学を含む幅広い分野において，人工知能(AI)技術とビッグデータを活用したデータ駆動型のモデリングによる研究が盛んである．現在のAI技術の中心的な手法として，機械学習や深層学習が用いられる．これらの手法は有機/無機材料開発においても非常に高度な予測•提案を実現してきた．しかし，高度な機械学習や深層学習を利用して構築されたモデルは過度にブラックボックス化し，モデルやその結果を人間が解釈することは難しい．また学習データへの依存性が大きく，学習データから離れた空間にある材料を予測することが困難である．そのため，近年では解釈性の高いモデルを与える説明可能AI (XAI)技術の開発が進んでおり，数学 [1, 2]や物理学 [3, 4]の分野においても活発に研究されている．

このXAIの手法の一つとしてシンボリック回帰 [5]がある．この手法は明示的な初等関数型の非線形モデルを構築することで高い予測性能と解釈性を両立させる．構築されたモデルから新しい化学原理•法則や新規材料創出のヒントが得られる可能性がある．また構築された明示的なモデルは学習データへの過度な依存性を抑え，未学習のデータ領域に存在する材料を高度に予測可能であることが期待される．そこで本研究では，シンボリック回帰における基礎的な外挿性の検証を実施した．さらにペロブスカイト触媒の活性に関する外挿性の検証を行い，新規材料探索に向けたシンボリック回帰の有効性を議論する．

2 方法

本研究では，シンボリック回帰手法として，Least Absolute Shrinkage and Selection Operator (LASSO)回帰を利用した，再帰的LASSO型シンボリック回帰(RLS) [6]を用いた．先行研究に基づいて独自に実装し，種々の検証を行った．Figure 1にRLSの流れを示す．まず，①初期の特徴量と目的変数を取得する．次に，②特徴量に四則演算や三角関数などの算術演算子を作用させ，新たな特徴量を生成する．③LASSO回帰の寄与が小さい，または寄与しない項を強制的に削除するという特徴を利用して，特徴量を選択する．この②と③を再帰的に繰り返すことでより複雑な非線形の項を持つ数式を探索する．最後のサイクルにおいて導出された数式を最終的な数式とすることで，④データを最も良く表現する数理モデルが獲得される．

Figure 1.

 A schematic flow of RLS.

本研究では，シンボリック回帰に対する比較対象として，13種類の機械学習の回帰手法を用いた(Linear, Ridge, LASSO, Elastic Net, Bayesian Ridge, KRR (Linear), KRR (RBF), SVR (Linear), SVR (RBF), Decision Tree, Random Forest, GPR, ARD)．ハイパーパラメータに関して，RLSではOptuna [7]を利用した5分割交差検証により，その他の機械学習手法ではグリッドサーチを用いたLeave-One-Out法により決定した．

3 外挿性に関する検証

3.1 基礎的な初等関数

シンボリック回帰における外挿性の基礎的な検証として，複数の変数や四則演算，三角関数を含む初等関数をベンチマークとして作成し，性能を調査した．学習データの領域を変えて，RLSによりモデルを構築し，学習データ外の領域のデータを精度よく予測できるかを確認した．Table 1に作成したベンチマークデータセットにおける12種類の関数と各変数の定義域を示す．

Table 1. Benchmark functions for extrapolation verification.

No.	Function	Range (train + test)
1	y = x12+8x1+2	-30 < x1 < 30
2	y = x13+8x1+4	-100 < x1 < 100
3	y = x1x2- x22	-100 < x1, x2 < 100
4	y = x2/x1+x12	-100 < x1, x2 < 100
5	y = x13-x23+ x22	-100 < x1, x2 < 100
6	y = cos (x1)	-4π < x1 < 4π
7	y = sin (x12)	-4π < x1 < 4π
8	y = cos (x1)+sin (x2)	-4π < x1, x2 < 4π
9	y = 1/cos (x1)+sin (x22)	-4π < x1, x2 < 4π
10	y = x1/x2	-100 < x1, x2 < 100
11	y = x12/2x2	-100 < x1, x2 < 100
12	y = 1/x1 −1/x2	-100 < x1, x2 < 100

Figure 2に関数No. 2とNo. 7に対する結果を示す．学習データの領域を赤で示し，この領域が(a)狭い場合と(b)広い場合についての結果である．学習データの数を共に1000点とした．比較のために13種類の機械学習の中で最も平均絶対パーセント誤差(MAPE)が小さい2種類(GPR, RF)の結果も記載する．この結果，双方の関数において，GPR/RFは赤い領域から離れた学習データ外の領域に対する予測が難しいことがわかる．一方，RLSでは学習データ領域，学習データ外の領域の両方で精度よく予測できた．

Figure 2.

 Predictions of the functions No. 2 (upper) and No.7 (lower) using RLS and machine learning schemes.

Table 2にすべてのベンチマーク関数に対する結果を示す．ここで，Range (train)は学習させたデータの範囲を示し，RLSが関数を十分に表現できる領域で設定した．数値は学習データ外の領域におけるMAPEである．この結果，RLSはNo. 8, 9以外のベンチマーク関数において0.123%未満の誤差で予測でき，外挿性が高いことが確認された．また，No. 8, 9では，複数の変数により複雑であること，三角関数の近似式となるような項を優先することに起因して，RLSでは導出できなかった．これらの問題を解決することでRLSの表現能力が向上することも示唆された．

Table 2. MAPEs [%] for RLS and top-2 machine learning methods.

No.	Range (train)	RLS	GPR	RF
1	-2 < x1 < 2	1.23 × 10−1	1.29 × 102	1.76 × 102
2	-2 < x1 < 2	9.24 × 10−2	9.95 × 101	1.00 × 102
3	-4 < x1, x2 < 4	1.13 × 10−1	1.03 × 102	9.98 × 101
4	-2 < x1, x2 < 2	8.75 × 10−4	1.00 × 102	1.00 × 102
5	-8 < x1, x2 < 8	1.63 × 10−3	1.00 × 102	9.98 × 101
6	-π < x1 < π	2.98 × 10−3	3.03 × 102	1.17 × 103
7	-1/2π < x1 < 1/2π	3.36 × 10−3	2.23 × 102	5.84 × 102
8	-1/2π < x1, x2 < 1/2π	1.14 × 105	1.99 × 102	1.14 × 103
9	-1/2π < x1, x2 < 1/2π	9.95 × 102	9.99 × 103	5.92 × 102
10	-1< x1, x2 < 1	1.15 × 10−2	1.00 × 102	1.27 × 103
11	-4 < x1, x2 < 4	5.74 × 10−6	1.00 × 102	6.92 × 101
12	-1 < x1, x2 < 1	4.07 × 10−3	1.00 × 102	1.79 × 105

なお関数の表現能力について，我々は物理化学分野におけるこれまでに提案されてきた化学原理に対して，複数のシンボリック回帰を適用することで検証してきた [8]．

3.2 ペロブスカイト触媒の活性

シンボリック回帰における外挿性の応用的な検証として，ペロブスカイト触媒の酸素発生反応(OER)の活性予測に適用した．データとして，Wengらの論文 [9]に記載されている酸化物ペロブスカイトに関するデータを使用した．このデータに含まれる特徴量は，ペロブスカイト触媒の許容係数，八面体係数，原子価状態，遷移金属イオンのd電子数，A•Bサイトイオンにおけるイオン半径と電気陰性度の8つである．目的変数は，実験により測定されたlinear sweep voltammetryの電位である．既存の18種類の酸化ペロブスカイト触媒に加え，論文 [8]中でシンボリック回帰の結果に基づき提案された5種類の新規の触媒のデータを利用した．我々の研究では，これらのデータの性質を詳細に調査し，予測モデルの外挿性に関して議論する．

まずデータの性質を調べるため，次元削減により既存(Existing)と新規(New)の触媒データの分布を確認した．次元削減の手法として，データ間の距離や類似性に基づいて低次元データに変換するt分布型確率的近傍埋め込み法(t-SNE)を用いた．Figure 3にt-SNEにより8次元から2次元に圧縮された特徴量を可視化した図を示す．この結果，NewはExistingとは異なる領域に分布されることが示され，外挿領域にあることに相当する．

Figure 3.

 Scatter plot of perovskite catalyst feature space after t-SNE dimension reduction.

続いてFigure 4にExistingとNewに対する OER活性の予測結果を示す．RLSと13種類の機械学習手法による結果を載せた．Existingに対する予測では，RLSのMAEは2.16 × 10⁻² eVであり，他の機械学習手法と同程度であった．Newに対する予測では，すべての機械学習において0.44 eV以上と誤差が大きい．一方，RLSではMAEが4.66 × 10⁻² eVと，Existingと同程度であった．また外挿領域の予測可能性をより詳細に検証するため，学習データとテストデータを複数パターンに分けたときの，予測結果をSupplementary Materials (SM)にまとめる．これらの結果から3.1および3.2の議論と同様の結論が得られた．以上のことから，シンボリック回帰が外挿性の高い予測を可能とすることが示された．

Figure 4.

 MAEs in OER activities for Existing (upper) and New (lower) catalysts.

さらに，RLSによって構築された数理モデルを以下に示す．

  

$\begin{array}{c}{V}_{RHE}=-3.31\times {10}^{-2}{R}_A\times N_d+2.85\times {10}^{-2}{R}_B\\ +3.32\times {10}^{-3}{R}_A^2/\mu +1.88\times {10}^{-3}{N}_d+1.75\end{array}$(1)

ここで，R_A, R_BはA, Bサイトのイオン半径，N_dは遷移金属イオンのd電子数，μは八面体係数である．この式より，Aサイトに大きなカチオン，Bサイトに小さなカチオンを採用することでOER活性の高い触媒が得られることが示された．これは経験的な知見と矛盾せず，シンボリック回帰が明示的な数理モデルを伴った解釈性の高い予測を可能とすることが示された．

またRLSの学習に要する計算時間は，再帰的なサイクルにおける繰り返しの数と各サイクルの特徴量の数の増減に依存する．本研究のすべての結果は，各サイクルにおける特徴量の数の増減が少なかったため，LASSO回帰を数回実行する計算時間とほぼ同等であった．

4 まとめ

本研究では，シンボリック回帰手法の化学における実問題に対する有効性の検証として，外挿性の検証を行なった．基礎的な性質の検証では，シンボリック回帰が機械学習手法と比較して高い外挿性を持つことが示された．応用的な検証では，ペロブスカイト触媒の活性予測において，学習データ内•外に対する高精度かつ解釈性の高いモデルを構築した．ここから，新規材料探索におけるシンボリック回帰の有効性が示唆された．

謝辞

この研究は独立行政法人日本学術振興会(JSPS)科学研究費(JP21K04998)の補助を受けている．また，本研究の一部は計算科学研究センター(RCCS)の計算機を利用して行なった．

参考文献

• [1]   T. N. Mundhenk, M. Landajuela, R. Glatt, C. P. Santiago, D. M. Faissol, B. K. Petersen, arXiv:2111.00053v2 (2021).
• [2]   B. K. Petersen, M. Landajuela, T. N. Mundhenk, C. P. Santiago, S. K. Kim, J. T. Kim, arXiv:1912.04871 (2021).
• [3]   S. M. Udrescu, M. Tegmark, Sci. Adv., 6, eaay2631 (2020). doi:10.1126/sciadv.aay2631 PMID:32426452
• [4]   W. Tenachi, R. Ibata, F. I. Diakogiannis, arXiv:2303.03192v1 (2023).
• [5]   D. Angelis, F. Sofos, K. Papastamatiou, T. E. Karakasidis, Micromachines (Basel), 14, 1446 (2023). doi:10.3390/mi14071446 PMID:37512757
• [6]   Y. Iwasaki, M. Ishida, arXiv:2102.09210v1 (2021).
• [7]   T. Akiba, S. Sano, T. Yanase, T. Ohta, M. Koyama, arXiv:1907.10902 (2019).
• [8]   T. Isoda, M. Nakano, Y. Nakajima, J. Seino, unpublished.
• [9]   B. Weng, Z. Song, R. Zhu, Q. Yan, Q. Sun, C. G. Grice, et al., Nat. Commun., 11, 3513 (2020). doi:10.1038/s41467-020-17263-9 PMID:32665539