Development Status of ABINIT-MP in 2023

Abstract

In August 2023, we released the latest version of our ABINIT-MP program, Open Version 2 Revision 8. In this version, the most commonly used FMO-MP2 calculations are even faster than in the previous Revision 4. It is now also possible to calculate excitation and ionization energies for regions of interest. Improved interaction analysis is also available. In addition, we have started GPU-oriented modifications. In this preliminary report, we present the current status of ABINIT-MP.

Translated Abstract

In August 2023, we released the latest version of our ABINIT-MP program, Open Version 2 Revision 8. In this version, the most commonly used FMO-MP2 calculations are even faster than in the previous Revision 4. It is now also possible to calculate excitation and ionization energies for regions of interest. Improved interaction analysis is also available. In addition, we have started GPU-oriented modifications. In this preliminary report, we present the current status of ABINIT-MP.

1 序論

タンパク質やDNAなどの生体分子系に対する分割-統治系の計算手法の中では，大規模並列処理との相性が良く，相互作用解析に好適であることから，フラグメント分子軌道(FMO)法 [1, 2]は最もよく使われてきている．私たちが研究開発とリリースを続けているFMOプログラム ABINIT-MP [3, 4]のOpenシリーズに関しては，本誌で継続的に報告してきた [5,6,7,8,9,10]．最新のリリース版は，2023年8月25日付で纏め上げたVersion 2 Revision 8 (以下，Ver. 2 Rev. 8) [11]である．本稿では，Ver. 2 Rev. 8の特徴を紹介した後，ベクトル機であるNEC SX-Aurora TSUBASA (SX-AT)環境での実行，並びにGPUへの対応についての現状を紹介する．

2 Ver. 2 Rev. 8での速度向上(A64FX系)

ABINIT-MPの応用計算ではFMO-MP2が標準的に用いられているので，ここでは実タンパク質の例としてHIVプロテアーゼにロピナビルが結合した複合体(PDB-ID=1MUI;203フラグメント)を取って高速化について記す．基底関数は6-31G*に比べてs関数の縮約が長く改良の効果がより見えるcc-pVDZとし，MP2の積分変換は全段DGEMM処理 [12]に設定した．Table 1に，「富岳」と同じ富士通A64FXスパコンである名古屋大学のスパコン「不老」Type Iサブシステム上で，OpenMP/MPIの混成並列で実行したタイミングをまとめた(24スレッド/204プロセス)．改良前のVer. 1 Rev. 22 (2020年6月3日付リリース) [9]，積分ルーチン群のSIMD化などの一次改良を行ったVer 2 Rev. 4 (2021年9月16日)，それに積分ルーチンに対してループ分割，Fock行列構築からのif分岐除去，さらにモノマー段階での2電子積分のバッファリングを追加改良 [10]を施したVer. 2 Rev. 8を比較すると，HF/SCFが速くなっており，特に自己無撞着電荷(SCC)反復を伴うモノマー段階での加速がVer. 2 Rev. 8では顕著である．Dimer-ESとMP2でも積分生成の改良の効果が見える．トータルでの加速は，Ver. 1 Rev. 22比で1.6倍で，Ver. 2 Rev. 4より高速化されている．なお，このベンチマークテストでは指定していないが，モノマーSCCのアンダーソン加速で密度行列をベースにするオプションも追加しており，系によっては通常のFock行列ベースより反復回数が減って実行時間がさらに短縮される場合もある．

Table 1.  Timing of FMO-MP2/cc-pVDZ job for HIV protease complex at “Flow” Type I

Ver. 2 Rev. 8では，タンパク質の巨大な液滴モデルでフラグメント総数が2万程の場合でも，水のクラスタリング処理を行うPythonスクリプトで実効フラグメント数を削減して計算できるようになった [10]．これにより，新型コロナウイルスのスパイクタンパク質のクローズ型(PDB-ID=6XLU; 糖鎖付き)のMD由来の水和モデル群を「富岳」の8ラック(3,072ノード)ではFMO-MP2/6-31G*レベルで1構造(実効1万フラグメント)あたり2時間で容易に処理できた．

3 Ver. 2 Rev. 8での機能強化

機能面では，先ず相互作用エネルギー(IFIE)の詳細分割であるPIEDAの強化 [13]を挙げる．PIEDAでは，IFIEを静電(ES)項，交換反発(EX)項，電荷移動等(CT+mix)項をHFレベルで算定し，MP2などから得られる相関エネルギーを分散力相互作用(DI)項とするのが慣例である．しかし，相関導入ではHFでの過剰イオン性を低減する寄与が本質的に含まれるため，相互作用のタイプによってはDIとして括るのは問題が生じる．そこで，局所応答分散(LRD) [14]による分散力安定化を分離してDI(LRD)として分離評価可能とした;以前は，別にLRDを指定した上でFMO-HFジョブを実行する必要があった [15]．もう1つのPIEDAの機能追加は，FMO-RESP電荷 [16, 17]によるES項の参考算定値の提示である．IFIE/PIEDAでは，静電相互作用がしばしば過大評価されることが知られており，解釈には注意を要する場合があった．そこで，RESPの点電荷間の古典的静電相互作用エネルギーをフラグメント間でES(RESP)として求めることにした．DI(LRD)とES(RESP)の使用例は，文献 [13]を参照されたい．

Ver. 2 Rev. 4では多層FMO近似の下で，注目領域でのMP2 [12]とMP3 [18]の扱いが可能となっていたが，Ver. 2 Rev. 8では励起エネルギーとイオン化エネルギーの算定が加わった．スキームの詳細と応用例は前報 [10]に記しているが，励起エネルギーではCIS [19]と2電子励起補正のCIS(D) [20]の独自実装 [21, 22]をベースに高次励起の寄与を考慮した補正 [23, 24]も可能となっている．また，イオン化エネルギーでは，2次グリーン関数(GF2) [25]で問題となる局在性軌道からのイオン化での過小評価を改善するpGW2スケーリング [26]も利用できる．

励起状態に関連しては，分子凝集体でのフラグメント/ユニット間の電荷移動のカップリングパラメータをFMO-LCMO [27]スキームに基づいてCISレベルで算出する機能 [28]も追加された．これは，量子科学技術研究開発機構の藤田貴敏氏のモジュールの移植に依る．有機系の機能性材料の評価に有用と思われる．

4 SX-ATでのベクトル実行

前報 [9, 10]で，SX-ATでのFMO-MP2計算のベクトル化チューニングについて報告している．2電子積分生成周りに関しては一段落しており，Ver. 2 Rev. 4のベクトル版を東北大学のAOBA-Aにライブラリとして導入済である(2023年9月7日付)．AOBA-Aのベクトルエンジン(VE)の型はVE20なのに対し，新規のAOBA-Sはコア数が2倍のVE30に更新されているので，両者でのベンチマークを新型コロナウイルスのメインプロテアーゼ+N3リガンドの複合体(PDB-ID=6LU7; 395フラグメント)のFMO-MP2/6-31G*ジョブ(flat MPI実行)で比較してみた．その結果，VE20の512プロセス(VE数は64)での1,017秒が，VE30の1,024プロセスでは593秒となり同一のVE数ではVE30はVE20の1.7倍高速であることがわかった．また，プロセス数を512で合わせたVE30(VE数は32)では903秒となり，VE20に比して1.1倍の改善となった．後者の比較では，VE30でのL3キャッシュの新設が効いていると考えられる．

MP3ではDGEMM主体のテンソル縮約処理が支配的となるため，ベクトル化による加速が効果的である [18]．そこで，NEC社内のVE20機を使って上出の複合体6LU7を混成並列で計算をしてみた(VE数64; 8スレッド/64プロセス)．基底関数は6-31G*で，メモリ設定を2通りで試したが，MP3での積分生成のバッチ数は共に1である．結果をTable 2に示すが，FMO-MP3でFMO-MP2の演算量(Op. Cnt.)が5.5倍となっても，ジョブ時間の増加としてはメモリ割当が大きい場合は2.6倍で済んでおり，ベクトル実行のメリットが確認できる．

Table 2.  Timing of FMO-MP2 and FMO-MP3 jobs for SARS-CoV-2 Mpro complex at SX-AT (VE20).

5 GPUへの対応

GAMESSのグループではGAMESS本体のGPU対応 [29, 30]，GPU向けの高性能FMOプログラムの新規開発 [31]が並走して進められている．国内でも，Yasudaら [32, 33]，Umedaら [34, 35]，Kitoh-Nishiokaら [36]のGPU対応の先行事例があるが，いずれも要所は2電子積分関係の加速である．ABINIT-MPのGPU対応のきっかけとなったのは，2022年度下期の東京大学情報基盤センターの支援プログラムで，HF計算のコア部分を切り出して作成したミニアプリケーション(以後，ミニアプリと略記)の改造とテストである．次段落に概要を記す．

ABINIT-MPの2電子積分の計算は，Obaraの垂直漸化式関係 [37]に従って自動ツールで生成された{s, p, d}関数の組み合わせ3⁴=81種のルーチン群によって行われ，これは元のミニアプリも同様である．この81種をGPUの豊富な演算コアをバッチ的に満たせるように26種に再構成(一部の積分では対称性の冗長性が残存)し，Fock行列への加算もまとめたのが改造のポイントである．ここで，演算量とメモリ要求との兼ね合いから，d関数が4つの積分(形式的に[d4]と略記)とd関数3つとp関数1つの積分([p1d3])はCPUで処理し，s関数4つの積分([s4])からd関数2つとp関数2つの積分([p2d2])まではGPUにオフロードする形になっており，実行の制御はOpenACC [38]による．Table 3は，実際のFMOでのダイマー計算を想定してTrp - Tyrの対を対象とし，東京大学の「Wisteria」 Aquariusサブシステムを使ってGPU化したミニアプリのベンチマークテストを行った結果である(MPIプロセス数は8で1つのGPUにオフロード)．GPU化によって，6-31G*基底で6.4倍，s関数の縮約の長いcc-pVDZ基底では8.2倍の加速が得られており，試金石としては及第レベルと思われる．

Table 3.  Timing of HF job for Trp - Tyr pair with/without GPU at “Wisteria” Aquarius

改造されたミニアプリを参考に，ABINIT-MP本体のGPU化の方針を詳細に検討し，先ずFMO-HFレベルでの改造に着手した．2024年1月の時点で，2電子積分ルーチン群については冗長性を廃した21種に再構成が終わり，OpenACCによる制御の導入を進めている．

6 開殻系への対応

開殻系の扱いについては，UHFがエネルギー微分まで [39]，電子相関の補正はUMP2で可能である．しかし，スピン汚染の問題があり，開殻遷移金属イオンを中心に持つタンパク質や水和錯体の扱いは困難であった．そのため，ROHF系も実装することになった．2023年秋のABINIT-MP作業版では，開殻フラグメント数を1つとし，開殻軌道数5の6重項までの実装を終えている(結合定数はプリセット)．2024年度中に，開殻フラグメントが複数存在する系の扱いと共に，収束性の改良を進める．相関計算については，既存のUMP2モジュールの流用が可能なKnowlesらのRMP2 [40]を実装する．

7 まとめ

本稿では，ABINIT-MPのVer. 2 Rev. 8の概要，SX-ATでの性能評価，GPU化の状況，今後の開殻系への対応についてまとめて報告した．本稿の改定中(2024年1月)，Ver. 2 Rev. 8は「富岳」でSpackライブラリとして利用可能になった [41]．併せて，「不老」に対しても公開用パッケージを納品した．

最後に，GPU化について付記したい．ネクスト「富岳」のフィジビリティスタディが進められているが，「演算加速器」の搭載が想定されており，実体としてはGPUが有力と思われる．また，最近，アプリケーションソフトウェアの立場からネクスト「富岳」を意識した計算科学の諸分野の将来展望をまとめた文書が公開された [42]．ABINIT-MPの整備・改良を進め，ネクスト「富岳」を頂点とする次世代のHPCI資源を活用したFMO計算のための準備をこれからも進めていく必要がある．

謝辞

ABINIT-MPのVer. 2系の改良は，JHPCN課題jh210036-NAH/jh220010/jh230001:「FMOプログラムABINIT-MPの高速化と超大規模系への対応」の中で進めてきています．また，大規模な応用計算を通じた検証は，「富岳」のHPCI課題hp210026/hp220025/hp230017:「新規感染症のための計算科学的解析環境の整備」の枠で行いました．SX-AT向けのベクトル化は，日本電気(株)との共同研究に拠ります．励起状態でのカップリングパラメータ算定モジュールの移植では，支援をいただいた(株)JSOLの小沢拓氏と新田浩也氏に感謝します．HFミニアプリのGPU対応は，東京大学情報基盤センターのGPU移行推進プログラムの中で，エヌビディア合同会社の古家真之介氏のコーディネートで成されたものです．また，同センターの中島研吾先生，下川辺隆史先生，芝隼人先生(当時)のサポートにも感謝します．最後に，本研究開発は立教SFRの資金援助を受けていることを記します．

参考文献

• [1]   D. G. Fedorov, K, Kitaura ed., "The Fragment Molecular Orbital Method: Practical Applications to Large Molecular Systems", 2009, CRC.
• [2]   Y. Mochizuki, S. Tanaka, K. Fukuzawa, ed., "Recent Advances of the Fragment Molecular Orbital Method", 2021, Springer.
• [3]   S. Tanaka, Y. Mochizuki, Y. Komeiji, Y. Okiyama, K. Fukuzawa, Phys. Chem. Chem. Phys., 16, 10310 (2014). doi:10.1039/C4CP00316K PMID:24740821
• [4]   Y. Mochizuki, T. Nakano, K. Sakakura, Y. Okiyama, H. Watanabe, K. Kato, et al., pp. 53-67, in "Recent Advances of the Fragment Molecular Orbital Method", 2021, Springer.
• [5]   Y. Mochizuki, K. Sakakura, Y. Akinaga, K. Kato, H. Watanabe, Y. Okiyama, et al., J. Comput. Chem. Jpn., 16, 119 (2017). doi:10.2477/jccj.2017-0051
• [6]   H. Watanabe, S. Sato, K. Sakakura, S. Saito, Y. Mochizuki, J. Comput. Chem. Jpn., 17, 147 (2018). doi:10.2477/jccj.2018-0023
• [7]   Y. Mochizuki, Y. Akinaga, K. Sakakura, H. Watanabe, K. Kato, N. Watanabe, et al., J. Comput. Chem. Jpn., 18, 129 (2019). doi:10.2477/jccj.2019-0016
• [8]   Y. Mochizuki, K. Sakakura, H. Watanabe, K. Okuwaki, K. Kato, N. Watanabe, et al., J. Comput. Chem. Jpn., 19, 142 (2020). doi:10.2477/jccj.2021-0015
• [9]   Y. Mochizuki, T. Nakano, S. Sato, K. Sakakura, H. Watanabe, K. Okuwaki, et al., J. Comput. Chem. Jpn., 20, 132 (2021). doi:10.2477/jccj.2022-0001
• [10]   Y. Mochizuki, T. Nakano, K. Sakakura, H. Watanabe, S. Sato, K. Okuwaki, et al., J. Comput. Chem. Jpn., 21, 106 (2022). doi:10.2477/jccj.2022-0037
• [11]   <http://www.cenav.org/abinit-mp-open_ver-2-rev-8/>.
• [12]   Y. Mochizuki, K. Yamashita, T. Murase, T. Nakano, K. Fukuzawa, K. Takematsu, et al., Chem. Phys. Lett., 457, 396 (2008). doi:10.1016/j.cplett.2008.03.090
• [13] S. Matsuoka, S. Sakakura, Y. Akinaga, K. Akisawa, K. Okuwaki, H. Doi et al., J. Comp. Chem. ( ).doi:10.1002/jcc.27297
• [14]   T. Sato, H. Nakai, J. Chem. Phys., 131, 224104 (2009). doi:10.1063/1.3269802 PMID:20001021
• [15]   K. Akisawa, R. Hatada, K. Okuwaki, S. Kitahara, Y. Tachino, Y. Mochizuki, et al., Jpn. J. Appl. Phys., 60, 090901 (2021). doi:10.35848/1347-4065/ac1857
• [16]   Y. Okiyama, H. Watanabe, K. Fukuzawa, T. Nakano, Y. Mochizuki, T. Ishikawa, et al., Chem. Phys. Lett., 449, 329 (2007). doi:10.1016/j.cplett.2007.10.066
• [17]   Y. Okiyama, H. Watanabe, K. Fukuzawa, T. Nakano, Y. Mochizuki, T. Ishikawa, et al., Chem. Phys. Lett., 467, 417 (2009). doi:10.1016/j.cplett.2008.11.044
• [18]   Y. Mochizuki, K. Yamashita, K. Fukuzawa, K. Takematsu, H. Watanabe, N. Taguchi, et al., Chem. Phys. Lett., 493, 346 (2010). doi:10.1016/j.cplett.2010.05.034
• [19]   J. B. Foresman, M. Head-Gordon, J. A. Pople, M. J. Frisch, J. Phys. Chem., 96, 135 (1992). doi:10.1021/j100180a030
• [20]   M. Head-Gordon, R. J. Rico, M. Oumi, T. J. Lee, Chem. Phys. Lett., 219, 21 (1994). doi:10.1016/0009-2614(94)00070-0
• [21]   Y. Mochizuki, S. Koikegami, S. Amari, K. Segawa, K. Kitaura, T. Nakano, Chem. Phys. Lett., 406, 283 (2005). doi:10.1016/j.cplett.2005.03.008
• [22]   Y. Mochizuki, K. Tanaka, K. Yamashita, T. Ishikawa, T. Nakano, S. Amari, et al., Theor. Chem. Acc., 117, 541 (2007). doi:10.1007/s00214-006-0181-6
• [23]   Y. Mochizuki, K. Tanaka, Chem. Phys. Lett., 443, 389 (2007). doi:10.1016/j.cplett.2007.06.059
• [24]   Y. Mochizuki, Chem. Phys. Lett., 453, 109 (2008). doi:10.1016/j.cplett.2008.01.014
• [25]   J. Linderberg, Y. Öhrn, "Propagators in Quantum Chemistry, 2nd Edition", 2004, Wiley.
• [26]   C. H. Hu, D. P. Chong, M. E. Casida, J. Electron Spectrosc. Relat. Phenom., 85, 39 (1997). doi:10.1016/S0368-2048(97)00037-6
• [27]   S. Tsuneyuki, T. Kobori, K. Akagi, K. Sodeyama, K. Terakura, H. Fukuyama, Chem. Phys. Lett., 476, 104 (2009). doi:10.1016/j.cplett.2009.05.069
• [28]   H. Kitoh-Nishioka, K. Ando, Chem. Phys. Lett., 621, 96 (2015). doi:10.1016/j.cplett.2014.12.057
• [29]   F. Zahariev, P. Xu, B. M. Westheimer, S. Webb, J. Galvez Vallejo, A. Tiwari, et al., J. Chem. Theory Comput., 19, 7031 (2023). doi:10.1021/acs.jctc.3c00379 PMID:37793073
• [30]   J. L. G. Vallejo, C. Snowdon, R. Stocks, F. Kazemian, F. C. Y. Yu, C. Seidl, et al., J. Chem. Phys., 59, 044112 (2023). doi:10.1063/5.0156399
• [31]   <https://dl.acm.org/doi/abs/10.5555/3571885.3571894>.
• [32]   K. Yasuda, J. Comput. Chem., 29, 334 (2008). doi:10.1002/jcc.20779 PMID:17614340
• [33]   K. Yasuda, J, Chem. Theory Comput., 4, 1230 (2008).
• [34]   H. Umeda, T. Hanawa, M. Shoji, T. Boku, Y. Shigeta, J. Comput. Chem. Jpn., 13, 323 (2015). doi:10.2477/jccj.2014-0053
• [35]   H. Umeda, T. Hanawa, M. Shoji, T. Boku, Y. Shigeta, J. Comput. Chem. Jpn., 14, 69 (2015). doi:10.2477/jccj.2015-0041
• [36]   H. Kitoh-Nishioka, H. Umeda, Y. Shigeta, pp. 77-90, in "Recent Advances of the Fragment Molecular Orbital Method", 2021, Springer.
• [37]   S. Obara, A. Saika, J. Chem. Phys., 84, 3963 (1986). doi:10.1063/1.450106
• [38]   <https://www.openacc.org/>.
• [39] Y. Kato, T. Fujiwara, Y. Komeiji, T. Nakano, H. Mori, Y. Okiyama et al., Chem-Bio Inf. J. 14 (2014) 1. https://www.jstage.jst.go.jp/article/cbij/14/0/14_1/_article/-char/en
• [40]   P. J. Knowles, J. S. Andrews, R. D. Amos, N. C. Handy, J. A. Pople, Chem. Phys. Lett., 186, 130 (1991). doi:10.1016/S0009-2614(91)85118-G
• [41]   < https://www.hpci-office.jp/for_users/appli_software/appli_abinit-mp/abinit-mp_r-ccs_riken-2>.
• [42]   <https://cs-forum.github.io/roadmap-2023/>.