タンパク質の言語モデル

Abstract

ここ数年、深層学習に基づく生物配列の解析技術が台頭してきている。本稿は、その中でも特に急速に発達しているタンパク質の言語モデル（protein language models: pLMs）に関する総説である。アカデミアはもとより巨大IT企業も研究参画するこの技術は、基盤となるモデル開発がすでに一段落し、多様な生物学的・工学的タスクに対する応用結果が続々と報告されるフェーズに入っている。本稿では、最近のpLMsで中心的に用いられるTransformerの内部機構や学習方法、pLMsが獲得した生物学的情報の解析といった基本的な事項の解説から始め、配列解析、タンパク質機能予測・機能改変、立体構造予測、そして大規模言語モデルによる機能性タンパク質配列生成まで、実験的検証事例を交え幅広いテーマを紹介する。最後に、今後のpLMs研究が迎えうる展開について、萌芽的結果を踏まえつつ考察したい。

1．はじめに

タンパク質は、分子レベルでの生命機能の主たる担い手である。同時に、医学・生物学における主要なツールでもあり、また、近年勃興するバイオものづくりにおけるキーコンポーネントでもある。したがって、その機能理解もしくは機能改変・設計はあらゆる分野にまたがる重要な研究課題である。配列データからの情報抽出は、これらの目的に向けた有力なアプローチであり続けてきた。相同配列検索、配列に導入された変異の病原性判定、多重配列アラインメント（multiple sequence alignment: MSA）を用いた系統関係の推定、立体構造予測、活性部位予測など、その実例は枚挙に暇がない。

ここ10年ほどの自然言語処理（natural language processing: NLP）に代表される機械学習分野の進展と計算機の高機能化により、シークエンシング技術開発の恩恵を受け蓄積されてきた膨大な配列データから効率的に情報抽出するための基盤が整ってきた。図1は、タンパク質と機械学習に言及した論文数の推移を示したものである。ここから読み取れるように、機械学習を用いたタンパク質研究の中でも言語モデル関連は急速に発展しており、特に2019年を境に加速度的に増加していることがわかる。

図1：タンパク質の言語モデルに言及する論文数の推移

横軸に年度、縦軸に各年の論文数を示した。バーの色は検索クエリ（protein “machine learning”もしくはprotein “language model”）に対応する。論文数はGoogle Scholarによる。アクセス日：2023年2月25日

それでは、タンパク質の言語モデル（protein language models: pLMs）とは何か？データ駆動的に挙動が定まるこのモデルの動作原理はなにか？抽出できる情報の特徴や、実際に関心のあるタスクに対する性能はどの程度なのか？本稿は、これらの疑問に答える試みである。本稿の構成は以下の通りである。まず基礎編となる前半では、ニューラルネットワークとして実装されるpLMsのアーキテクチャ、学習方法、学習された特徴について解説する。特に、最近のpLMsで中心的に使われるTransformerの内部機構（アテンション）および学習原理を簡潔に理解できるようにする。後半では、配列解析、タンパク質機能予測・改変、立体構造予測、そして配列生成についてレビューし、pLMsがすでに広範な応用範囲を持ち、実験的検証によりその実力がある程度明らかになりつつあることを見る。

なお、紙面の都合上割愛したテーマもある。二次構造［1, 2, 3］、翻訳後修飾［4, 5］、金属イオン等の結合サイト［6, 7］、活性部位［8］、細胞内局在［9, 10］、Gene Ontology［11, 12, 13, 14, 15］、シグナルペプチド［16］、膜貫通領域［17］などの機能アノテーション関連、配列最適化［18, 19］、抗体・免疫関連［20, 21, 22, 23, 24, 25, 26, 27, 28, 29］については触れられなかったが、これらのテーマに対してもpLMsを応用した研究が活発に行われている点には言及しておきたい。また、可能な限り査読済み論文を引用したが、分野の発展が著しく速い状況を鑑みプレプリントも適宜参照した。関心を持たれた読者は原典の査読状況などにも留意されたい。

2．pLMsの基礎

2.1　言語モデルによるタンパク質表現の獲得

言語モデルは、大規模データからデータ自体の特徴を学習する表現学習技術［30］の1つである。もともとは自然言語（日本語や英語などの我々が日常的に使用している言葉）文を構成する各単語の特徴表現および文の生成確率関数を学習する統計モデルとして提案された［31］。本稿のテーマであるpLMsは、大雑把に言えば、タンパク質の一次配列を「文」、各アミノ酸を「単語」とみなして学習された言語モデルのことである。pLMsをそのアーキテクチャにより大別すると、word2vec［32, 33, 34］、畳み込みニューラルネットワーク（convolutional neural network: CNN）［35, 36］、再帰型ニューラルネットワーク（recurrent NN: RNN）［37, 38, 39, 40］、およびTransformerに基づくものが存在する。ここでは主に、最近のpLMsにおいて中心的に利用されるTransformerベースのモデルについて説明する。割愛したモデルは例えば［41, 42］でレビューされているので適宜参照されたい。

2.1.1　Transformerのアーキテクチャ

Transformer［43］は、2017年にVaswaniらによって機械翻訳に関連して提案されたニューラルネットワークである。従来、標準的であったCNNおよびRNNとは異なり、自己注意（self-attention）機構により離れたトークン間の依存性を取り入れられる点に特徴がある。ここで、言語モデルで処理される「単語」（処理単位）はトークンと呼ばれ、本稿ではタンパク質配列に含まれる各アミノ酸に対応する。Transformerを用いる場合、図2aに示したように、①各アミノ酸固有のベクトル表現（token embedding）、②self-attentionを介した文脈情報の取り込み、③残基位置ごとのアミノ酸出現確率計算、の3層構造で情報処理をする。Transformerにより最終的に得られたアミノ酸表現は埋め込み（embedding）と呼ばれ、②の出力に対応する。原論文［43］では、埋め込みを得るためのencoderおよび配列生成のためのdecoderを結合したアーキテクチャが提案されているが、本項ではpLMsでしばしば用いられるencoder内部でのデータ処理の要点を確認しておこう。

図2：Transformerによるタンパク質配列埋め込みとアテンションマップ計算

（a）Transformerのデータフロー。（b）Self-attentionとは、アミノ酸を表現するベクトル同士の内積行列（を行方向に正規化したもの）である。

タンパク質配列を形式的にs＝a₁ a₂…a_Lと書き、a_i∈V（i＝1, 2, …, L）はアミノ酸を表す文字、Vはアミノ酸全体の集合（＝語彙）、Lは配列長を表すとする。まず①では、アミノ酸a_iを数値的に処理できるようにベクトル$e_{{\mathit{a}}_{\mathit{i}}}\in {\mathrm{ℝ}}^{\mathrm{d}}$に変換する。このd次元ベクトル$e_{{\mathit{a}}_{\mathit{i}}}$はモデル学習時に調整されるパラメータである。これらをまとめて$x\in {\mathrm{ℝ}}^{\mathit{L}\times \mathit{d}}$と表記しよう。我々が最終的に実現したいことは、アミノ酸の表現であるxが配列s内での文脈をうまく捉えた状態になるようTransformerモデルを学習することである。次にxを multi-head self-attention層に入力する。具体的には、   

$$\text{self\_attention}(x)=\text{concat}\left({\text{attn}}_1(x),{\text{attn}}_2(x),\dots ,{\text{attn}}_{\mathrm{H}}(x)\right)W$$（1）

  

$${\text{attn}}_{\mathit{h}}(x)=\text{softmax}\left({\mathrm{QK}}^{\mathit{T}}/\sqrt{\mathit{d}}\right)V$$（2）

  

$$Q={\mathrm{xW}}_{\mathit{h}\mathit{,}1}$$（3）

  

$$K={\mathrm{xW}}_{\mathit{h}\mathit{,}2}$$（4）

  

$$V={\mathrm{xW}}_{\mathit{h}\mathit{,}3}$$（5）

  

$$\text{softmax}{(M)}_{\mathit{ij}}=\exp ({\mathit{m}}_{\mathit{ij}})/{\sum }_{\mathit{k}}\exp ({\mathit{m}}_{\mathit{ik}}),M\in {\mathrm{ℝ}}^{\mathit{L}\times \mathit{L}}$$（6）

なる関数を適用する。ここで$W\in {\mathrm{ℝ}}^{\mathit{d}\times \mathit{d}}$と$W_{\mathit{h},\mathit{i}}\mathrm{\in }{\mathrm{ℝ}}^{\mathit{d}\times \mathit{d}/\mathit{H}}(\mathit{i}=\mathrm{1,2,3})$は学習可能パラメータ、concatは行列（テンソル）の結合操作でありL×d⁄H次元の行列H個を列方向に並べてL×d次元にする。（2）式のattn_hが head（h＝1, 2, …, H）と呼ばれるアテンション計算の中核である（図2b）：入力xは各 head に固有のパラメータW_{h, i}を用いて内積計算され（QK^T）、softmax関数によって正規化された後、この行列を重みとして$V={\mathrm{xW}}_{\mathit{h},3}$の各行ベクトルが加重平均される。図2bにおけるQueryとKeyが各々QとK^Tに対応する。なお${\text{attn}}_{\mathit{h}}(x)\in {\mathrm{ℝ}}^{\mathit{L}\times \mathit{d}/\mathit{H}}$である。ここで得られた正規化済みの内積行列$\left(\text{softmax}\left({\mathrm{QK}}^{\mathit{T}}/\sqrt{\mathit{d}}\right)\right)$はアミノ酸同士が互いの表現に与える影響度を定量化するものであり、アテンションマップと呼ばれる。Multi-head self-attentionの計算後は、適当な非線形変換を施し、再び（1）式のアテンション計算をする処理を反復する（図2a②）。このようにして、後述する方法によりTransformerの学習時にパラメータが調整されることで、タンパク質配列内でのアミノ酸の相互関係を取り入れた表現が得られることになる。最後に、Transformerの出力である埋め込みベクトルz_iより、位置iにおけるアミノ酸vの出現確率が次のようにして計算できる（図2a③）：   

$${\mathit{p}}_{\mathit{i}\mathit{,}\mathit{v}}=\text{exp}\left(z_{\mathit{i}}{e}_{\mathit{v}}^{\mathit{T}}\right)/{\sum }_{\mathit{w}\in \mathit{V}}\text{exp}\left(z_{\mathit{i}}{e}_{\mathit{w}}^{\mathit{T}}\right)$$（7）

ここでe_wはアミノ酸wのtoken embeddingである。

上記で言及しなかった点として、各アミノ酸の配列内での位置情報の取り込みがある（位置エンコーディング：positional encoding）。Transformerの原論文では三角関数を用いた手法が採用されているが、パラメータを導入し学習対象とする方法もよく用いられている。Token embeddingの直後に実行されるケースが多いものの、self-attention計算時に追加されることもある［44］。位置エンコーディングはそれ自体が重要なテーマであり、様々な方法が提案されている［45］。なお、Transformerアーキテクチャについては非常に多くの派生研究がある［46］がここでは割愛する。また、Transformerを実装レベルで理解したい場合は［47］を参考に手を動かしてみるとよいだろう。

2.1.2　Transformerモデルの教師なし学習：masked language modeling

言語モデルを用いる利点の1つは、その事前学習が教師なしで実行できることである。入力配列自身を教師として学習するため、自己教示学習（self-supervised learning）とも呼ばれる。言語モデルのアーキテクチャにより具体的な手法は異なるが、ここではBERT（bidirectional encoder representations from Transformer）［48］で導入され広く用いられているmasked language modeling（MLM）を解説する。

MLMの概念図を図3に示した。この方法では、まず入力配列の一部のトークンを確率的にマスクする（ここではglycine（G）がマスクされている）。このマスクされた配列をTransformerに入力すると、前項に述べた方法によりマスク位置における各アミノ酸の尤度を計算することができる。そこでMLMでは、すべてのマスク位置Mにおける元のアミノ酸a_iに対する負の対数尤度   

$$\mathit{L}=-{\sum }_{\mathit{i}\in \mathit{M}}\text{log}\left({\mathit{p}}_{\mathit{i}\mathit{,}{\mathit{a}}_{\mathit{i}}}\right)$$（8）

を損失関数として最小化する。このようにして、マスクされた残基を周辺残基の情報（＝文脈）から推測させ、配列におけるアミノ酸の出現パターンを学習させることができる。

図3：Masked language modelingの概念図

周辺残基の情報を元にマスクされた残基（G）の復元確率を最大化する。ここでは、図2（a）における①から③をまとめてTransformerと表記している。

2.2　代表的なpLMs

冒頭で触れたように、pLMsに言及する論文は急速に増えてきている。ここではその中でも頻繁に利用されるモデルをまとめる。UniRep［39］は、約2,400万配列からなるUniRef［49］を学習データとしたmLSTM［50］に基づくpLMである。UniRepによる埋め込みベクトルはアミノ酸の物理化学的性質を反映するだけでなく、種の分類、変異導入効果予測、タンパク質工学など種々の下流タスクにも応用可能であることが示され、以降のpLMs研究の雛形となった。TAPE［51］は、Transformerに基づく最初のpLMである。二次構造予測、コンタクトマップ予測、相同性検出、変異導入効果に関するベンチマークデータを整備し、各種タスクで良好な性能を示した。この2つの仕事が現れた2019年以降、pLMs研究は劇的に加速していくことになる。ESM（Evolutionary Scale Modeling）［52, 53］は、大規模化されたTransformerベースのpLMsである。ESMに関しては本稿の後半で度々触れる。また、UniRep、TAPE、ESMは単一配列を入力とするモデルだが、MSAを入力とするMSA Transformer［54］も提案されている。ProtTrans［55］は、encoder-decoder型を含む複数のアーキテクチャに基づくpLMsの総称である。特にT5［56］アーキテクチャに基づくProtT5は高性能で、本稿でも後ほど複数の応用例に触れる。

なお、以上のように、大規模なデータで学習され幅広い後続タスクに利用されるモデルは基盤モデル（foundation models）とも呼ばれる［57］。UniRep、ESM1、ProtTransを含む複数のpLMsによる埋め込みベクトル計算はBio Embeddingsライブラリ［58］を用いると簡単に実行できる。

2.3　pLMsが獲得した生物学的情報

2.3.1　アミノ酸の特徴表現

生物配列を機械学習で扱うためには、まずその特徴表現を得ることが必要である。タンパク質の場合、古典的には配列中のアミノ酸の物理化学的・構造的性質を反映したベクトル表現としてAAindex［59］、ST-scale［60］、Z-scale［61］、T-scale［62］、FASGAI［63］、MS-WHIM［64］、ProtFP［65］、VHSE［66］等のいわゆる記述子もしくはMSAに基づくposition-specific scoring matrix（PSSM）［67］などが利用されてきた。これらは、人間が専門知を活かして設計したものである。

一方でpLMsは、その学習過程でアミノ酸の特徴表現をデータそのものから獲得している。UniRep［39］とESM［52］はともに、その埋め込みベクトルがアミノ酸の物理化学的性質を反映していると報告している。具体的には、埋め込みベクトルを主成分分析もしくはt-SNE［68］により2次元に射影すると、アミノ酸の疎水性・極性および芳香環（F、Y、W）に応じたクラスターが観測された。いずれのモデルも学習は教師なしで行われているため、言語モデルタスクによりタンパク質の文脈情報のみからアミノ酸の個別的な性質が獲得されたことになる。なお、PSSMはMSAの残基位置ごとに特徴量計算する一方、pLMsでは残基同士の相互依存性も取り込む点が異なる。

2.3.2　アテンション

Vigらは、Transformer型pLMsのアテンションマップに着目した解析を行った［69］。これによると、タンパク質の立体構造を反映するコンタクトマップ予測、活性部位予測、二次構造予測のそれぞれで、強く関与が認められる特定のheadが存在することが示唆された。また、MSA Transformer［54］は、対称化されたアテンションマップを利用することで、教師なしでコンタクトマップを精度良く予測できることを明らかにした。この事実は、Transformerのアテンションマップが配列内アミノ酸同士の長距離相関を取り入れられることの利点を示唆する。

3．pLMsの応用

3.1　配列解析

配列解析、つまり配列の持つ生物学的意味合いを理解するための基本的なアプローチは、配列同士の比較を行うことである。ここでは、pLMsに基づく新しい方法が、既存のアラインメント手法であるNeedleman-Wunsch（NW）アルゴリズム［70］やSmith-Waterman（SW）アルゴリズム［71, 72］、もしくは隠れマルコフモデル（hidden Markov model: HMM）を用いた手法との関連でどのように位置づけられるか見ていこう。

Rivesらは、配列類似度の低い相同タンパク質（remote homology）を検出するタスクにおいて、ESM-1b埋め込みベクトルを用いた類似度検索を実施し、タンパク質構造を階層的に分類したデータベースSCOP［73］に対する評価実験で、HMMベースの相同性検索アルゴリズムHHblits［74］よりも高精度に実行できることを示した［52］。また、ProtT5埋め込みベクトルを用いた類似度検索法［75］でも同様の結果が得られている。ただし、マルチドメインタンパク質をクエリとした場合にはクエリ配列が長いほど検出精度は下がることが報告されている。ProtT5の埋め込みベクトルを入力とする教師ありアルゴリズムCATHe［76］は、先行するHMMベース手法［77］が検出できなかった相同タンパク質の検出に成功している。

全く別のアプローチとして、配列アラインメントアルゴリズムにpLMsを持ち込む手法も複数提案されている。BeplerとBergerは、Bi-LSTMモデルの埋め込みベクトルを用いて計算したsoft symmetric alignmentと呼ばれるアラインメントの程度を表す量を元に、配列ペアの構造類似度を教師あり学習する方法を開発した［37］。その結果、推論時に構造情報を入力とするTM-align［78］を顕著に上回る相同性検出が実現できたと報告している。

また、NWアルゴリズムもしくはSWアルゴリズムによる配列アラインメントをニューラルネットワークの一部として実行する方法も提案されている。MenschとBlondelは微分可能な動的計画法の定式化を与えることでその端緒を開いた［79］。詳細は割愛するが、動的計画法のスコア行列計算に必要なmax操作をlogsumexp関数log（Σ_iexp（a_i））で置き換え、その微分であるソフトマックス関数exp（a_i）⁄Σ_jexp（a_j）を元にトレースバックを確率的に実行するのが要点である。Mortonらは、事前学習済みBi-LSTMモデルの埋め込みベクトルから置換行列およびギャップペナルティを計算し、TM-alignで得られる構造アラインメントを正解とする教師あり手法DeepBLAST［80］を提案した。本モデルは微分可能なNWアルゴリズムを内蔵しているため、最適なアラインメントを実現する置換行列・ギャップペナルティをデータ依存的に学習することが可能である。また、DEDAL（deep embedding and differentiable alignment）［81］は、Transformerと微分可能SWアルゴリズムを組み合わせたローカルアラインメント手法である。学習時にMLM、ペアワイズアラインメントタスク、およびアラインメントスコアを用いた配列ペア間の相同性判別タスクを同時に実行する点と、学習データにPfamシードアラインメント［82］を採用し構造情報を明示的に利用しない点がDeepBLASTと異なる。いずれも、既存手法と比較しアラインメントの品質改善ができたと報告している。

ただし、ここで紹介した手法は統一されたデータ・指標での相互評価がされておらず、相同性の定義もまちまちであるため、実用上どれを用いるべきか検討するには精緻なベンチマークが必要である。また、相同性検索結果の信頼性を評価するためにE-value［83］の計算は極めて重要であるが、この点に言及していない手法も存在することには注意が必要だろう。

さらに、近年のpLMs研究は、言語モデルがMSAに類似した情報を獲得していることを示唆している。生物の系統関係推定（分子系統解析に関しては［84］が詳細に記述している）やタンパク質の機能・立体構造予測においてはMSAが重要な役割を果たすため、この点は注目に値する。例えば、MSAに含まれる2つの配列から各々1つのアミノ酸残基を選択したとき、ESM-1bの埋め込みベクトル類似度を用いると、両者がMSA内でアラインされているか否かの2値分類問題をAUC（area under curve）0.8程度以上の精度で解けることが示されている［52］。また、Huらは、配列ペアの相同性に応じて埋め込みベクトル間距離を調整するタスクを介してファインチューニングしたESM-1bモデルを用い、MSAを高速構成する方法を提案した［85］。こうして構成されたMSAをMSA TransformerもしくはAlphaFold2［86］の配列処理モジュールEvoformerに入力すると、HMMベースのホモロジー検索ツールjackhmmer［87］で得られたMSAと同程度の精度を複数のタスクで達成すると結論している。さらに、HieらはESM-1bで計算される配列ペア間の尤度差を「進化的方向性」と見立て、配列群の進化的関係を表現する有向グラフ推定手法evo-velocityを考案した［88］。

3.2　タンパク質機能予測・機能改変

遺伝子への変異導入がタンパク質機能にもたらす変化を理解し活用することは生物学的・医学的・工学的に重要である。例として、指向性進化に基づくタンパク質工学、つまり進化分子工学は数々の高機能タンパク質を生み出してきたが［89, 90, 91］、その実験には多くの時間と費用を要する。そこで近年、機械学習を積極的に活用した高効率な進化分子工学が急速に発達しており［92, 93, 94, 95, 96］、その中でpLMsが果たす役割が生化学実験により確認されつつある。

3.2.1　変異導入効果予測

タンパク質工学に機械学習を応用する際、初めに必要とされるタスクは変異導入効果の予測（variant effect prediction）である。十分高精度な予測モデルは生化学実験候補を事前にスクリーニングできる、もしくは実験自体を代替できると期待されること、後述する配列探索アルゴリズムにおいて必要なコンポーネントとなること、などが理由である。実験コストの観点では、可能な限り少ない教師データで予測モデルを構築できると都合が良い。そこで、教師なしでの変異導入効果予測（zero-shot予測とも呼ばれる）手法が研究されてきた。従来からの有力手法であるDeepSequence［97］とEVE［98］はともに変分オートエンコーダ（variational autoencoder: VAE）［99］に基づき、改変対象となる天然配列をクエリとして得たMSAを用いてファミリー特異的なモデルを構築する。このとき、学習済みモデルから計算される野生型配列と変異体配列の生成確率比（の対数）、つまり「天然タンパク質らしさ」の差が変異導入効果と正の相関を持つことが経験的に知られている［97, 98］。ところが、改変対象タンパク質に対して常に十分な量のホモログが取得できるわけではないから、ファミリー横断的かつアラインメントなしでの学習が可能なpLMsから抽出された情報を相互補完的に活用する戦略は有効であると考えられる。

TransformerベースpLMsによる教師なし予測性能を系統的に検証したのはRivesおよびMeierらである［52, 100］。UniRef［49］などの大規模配列データで事前学習されたpLMsは、教師データを与えず単一配列を入力する条件下であっても、MSAベースのDeepSequenceと同程度の予測性能を実現することが示されている。さらにNotinらはこれら2つのアプローチを統合し、事前学習された自己回帰的Transformerモデルを用いたzero-shot予測にMSAから計算される頻度統計も同時に利用するTranceptionを提案し、教師なしモデルとして最高精度を実現した［101, 102, 103］。期待される通り、特にMSAに含まれる配列が少ない場合にpLMを併用することによる精度向上が顕著である。様々な変異導入効果予測手法が開発される中で、手法を比較評価するためのProteinGym［103］等のベンチマークが整備されてきている点は重要である。また、同様の発想で、ProtT5埋め込みベクトルとConSurf-DB［104］およびBLOSUM62［105］置換行列から抽出できる残基ごとの保存情報を組み合わせた教師なし手法VESPAも同程度のパフォーマンスを実現している［106］。

とはいえ、現在の教師なし手法はSpearman相関係数で見た平均的な予測精度が0.5未満に留まり［102, 103］、完全には信頼できない。また、基質特異性改変などのように、pLMsの学習に用いられる天然タンパク質には存在しないであろう性質をもった新規酵素を開発したい場合もある。したがって、教師データを効率よく取り込むことのできる変異導入効果予測モデルの開発も重要である。筆者らは、改変対象タンパク質のホモログを用いてpLMsをファインチューニングするevotuning［39］をTAPE Transformer［51］の場合に考察し、ドメインアーキテクチャ（進化的に保存された機能・構造を持つ配列単位＝ドメインのタンパク質内での配置パターン）に応じて適切に行うためのプロトコルを提案した［107］。複数のタンパク質工学シナリオを想定した評価実験を行い、特に教師データが少ない設定で大幅な予測精度改善が実現できることを確認している。さらに、evotuningされたモデルはアラインされていない配列群から暗黙的に立体構造情報を獲得していることが示唆された。ECNet［108］は、改変対象タンパク質もしくは変異体配列を含むMSAからdirect coupling analysis［109］により抽出した特徴ベクトルおよびTAPE Transformerの埋め込みベクトルを組み合わせたLSTMベース教師あり変異導入効果予測モデルである。複数のdeep mutational scanning（DMS）［110］データによるベンチマークで、DeepSequenceもしくは教師あり学習したTAPE単独での予測精度を一貫して上回る性能が確認された。TranceptionがpLMとMSAを組み合わせて高精度化したのと類似した効果が教師ありの設定でも現れている。また、avGFP［111］の蛍光強度を予測するタスクでは、点変異もしくは二重変異までのデータを学習すれば四重変異体の変異導入効果が十分に予測できることを示した点は注目に値する。ECNet類似アーキテクチャに立体構造情報を追加入力することで精度向上を図る試みもある［112］。

なお、タンパク質の生体内での機能発現に重要な物性である水溶性や熱安定性予測についても、pLMsが活用され始めている［113, 114］。

3.2.2　タンパク質の機能改変

ベンチマークデータを用いた性能評価が進むpLMsベースの変異導入効果予測モデルは、すでにタンパク質工学で使われ始めている。Luoらは前述のECNetを用い、TEM-1 βラクタマーゼの点変異体と二重変異体を学習データとした予測モデルに基づき高機能配列候補を設計し、野生型に対して最大で約8倍の活性を持つ四重変異体を実際に作成した［108］。Biswasらは、evotuningしたUniRep［39］とLASSO［115］からなる予測モデルとマルコフ連鎖モンテカルロ（Markov chain Monte Carlo: MCMC）を統合した配列探索アルゴリズムを構成し、データ効率の良い機械学習ベースタンパク質工学の可能性を探った。少数（24もしくは96）の測定データを用いて予測モデルを学習し、野生型avGFP内の81残基を対象とした極めて広範な配列空間を探索して改変体を設計した結果、二桁以上高い蛍光強度をもつsfGFP［116］と同等の改変体が得られたとしている［117］。小川らは、筆者らの開発したTransformerに対するevotuning手法とベイズ最適化［118, 119］を組み合わせて配列探索し、2ラウンドの指向性進化実験により酵素XylMの基質特異性を改変、野生型の15倍の活性を持つ酵素を実現した［120］。本実験における変異導入対象は5残基であるので、理論上は20^5〜約300万の配列が探索対象となる。本研究ではサンプル数約300で上記の変異体が得られているため、大雑把な計算としては、約1万倍のコスト効率化が実現できたことになる。ただし、今回発見されなかったより高機能な変異体の存在を勘案すると、実際の効率はやや下がると考えられる。さらに、Hieらは教師なしでの抗体機能改変を試みている［121］。既知抗体とそこから生じうるすべての点変異体に対し6種のpLMsでzero-shot予測を行い、いくつかのpLMs間で共通して結合親和性が向上すると予測された変異体配列を実際の測定候補とした。その結果、驚くべきことに、臨床試験第二相に到達した成熟抗体を上記の方法で改変して得られた変異体は約7倍、未成熟な抗体に対しては実に160倍もの結合親和性向上が確認されたと報告している。

3.3　立体構造予測

深層学習に基づくタンパク質の立体構造予測アルゴリズムの開発が激化している。とりわけAlphaFold2（AF2）やRoseTTAFold（RF）［122］は従来の立体構造予測アルゴリズムと比較し遥かに高精度であり、すでに標準的ツールとして利用されるに至った（立体構造予測モデルの発展とAF2の行うデータ処理については［123］が詳しい）。最近行われた立体構造予測コンペティションのCASP15［124, 125］でもAF2ベースの手法が上位となっている［126, 127, 128］。これらのモデルは、配列からの情報抽出モジュールおよび構造計算モジュールを連結したアーキテクチャを持つ点で共通している。しかし、どちらもMSAを入力として要求するため、ホモログ取得に長い処理時間を要する場合がある、十分なホモログが取得できない場合に精度低下する、等の課題がある。前述したようにpLMsはMSAに類する情報を保持すると示唆されているので、これらの課題を解決するために配列からの情報抽出を言語モデルで代替する発想は自然である。

実際、AF2とRFが登場した翌年にはpLMsを活用した単一配列入力の立体構造予測モデルが立て続けに提案された［129, 130, 131, 132, 133, 134］。これらのモデルは、使用する言語モデルと構造計算モジュールのアーキテクチャ・学習方法、言語モデルが出力するデータの構造計算モジュールへの入力前の処理、使用する学習データ等の差分があるものの、大枠としては類似の戦略を採用している。一例を挙げると、ESMFold［53］はpLMとしてESM2を用い、その出力である埋め込みベクトルおよびアテンションマップを修正されたEvoformerに入力、AF2と同一の構造計算モジュールを用いて立体構造を予測する。また、推論性能をAF2もしくはRFと比較すると、1.入力配列が単一もしくは少数の場合は同程度もしくは高精度、2.実行速度は一桁〜数桁高速、と結論している点も共通している。例えば、既存データベースにホモログが存在しないorphanタンパク質［135］やde novo設計されたタンパク質に対しては、単一配列入力モデルがより正しい立体構造を予測したと報告されている［130, 131, 132］。

立体構造と機能との関連についても調べられている。trRosettaX-Single［132］とEMBER2［133］は、天然タンパク質とその改変体に対する予測構造の変化とDMS［97, 136］により得られた変異導入効果との間に弱い相関があることを発見した。特に［133］は、ColabFold［137］経由で得たAF2の予測構造変化よりもEMBER2のそれの方がより強く変異導入効果との相関を捉えられることを明らかにしており（Spearman相関係数で、AF2はほぼ0から-0.2程度、EMBER2は-0.2から-0.4程度）、MSAのようなタンパク質ファミリー単位ではなく解析対象配列に特異的な特徴抽出ができる点が要因ではないかと分析している。ただし、前述した配列ベースの変異導入効果予測アルゴリズムほどの精度には達しておらず、構造ベースの変異導入効果予測手法にはまだ改善が必要であると考えられる。

3.4　機能性タンパク質配列生成

VAE［99］、GAN［138］、GPT2［139］等の生成モデルをタンパク質配列設計に応用する研究は以前から進められているが［140, 141, 142］、2022年以降、大規模データで事前学習されたpLMsにより改変配列を生成し実験的検証までを一気通貫で行った成果が報告され始めた。ProGenは、CTRL［143］と呼ばれる条件付きTransformerアーキテクチャに基づき、12億パラメータを保持、約2.8億件の配列で事前学習された大規模pLMである［144］。タンパク質配列に付随する機能や種の分類を表すタクソノミーを表現するコントロールタグを指定することで生成配列を制御できる特徴がある。例としてリゾチームのホモログを用いてファインチューニングされたProGenが生成した配列は、既知天然タンパク質と同程度の酵素活性を持つことが生化学実験により確認された。さらにVerkuilらは、ESM2による配列尤度計算および立体構造予測を内蔵したMCMCにより、三次構造も考慮したタンパク質生成を実行した［145］。特に、実験検証された生成配列のうち、既知配列との配列類似度が20％未満かつ構造類似度0.5未満（TM-scoreベース）である新規タンパク質49個のうち31個は設計に成功したと報告している。この事実は、大規模pLMが単に学習データに含まれる天然タンパク質の情報を「記憶」しているだけでなく、タンパク質構造の設計原理まで学習できていることを示唆する、と著者らは述べている。ただし、ここでいう「設計の成功」とはタンパク質が水中で凝集せずに存在できるという意味であり、その機能にまでは言及されていない。所望の機能を持ったタンパク質を機械学習により設計する問題にはまだ大きな研究の余地が残されていると考えられる。

4．おわりに

タンパク質の言語モデル、pLMsの研究は、その代表的な成功例であるUniRepが登場した2019年ころから爆発的に発展してきた。本稿執筆時点で最大のpLMであるESM2は150億パラメータを持つ巨大言語モデル（ESM2-15B）であり、そのポテンシャルが精力的に解き明かされている状態である。それでは、今後のpLMs研究はどのように展開していくだろうか？

1つの妥当な推論は、現在の大規模化路線の継承であろう。NLP分野の知見として、OpenAIが発見したスケーリング則がある［146］。これは、Transformer言語モデルの性能が学習時間、データ量、モデルサイズに関するべき乗則に従い改善することを示す。実は、同様の法則はpLMsに対しても知られている。Hesslowらは、UniRef100、Metaclust［147］、MGnify［148］などの大規模なデータセットを用い、パラメータ数12億までのpLMsの言語モデルとしての性能（perplexity）変化を観察した［149］。いずれのデータに対してもモデルサイズが大きいほど結果は良好、かつ、学習時間についてのべき乗則が観測された。加えて、重要な経験事実として、言語モデルに関する創発性がより最近になって指摘されている［150, 151］。これは、上記のべき乗則に反し、小規模モデルでは見られなかった挙動があるスケールを超えると突如として現れる（NLPタスクの正答率が突然向上する）現象のことである。ESM2論文の動機の1つはpLMsにおける創発性を検証することであり、実際、perplexityが劇的に改善したモデルサイズ15Bにおいて、立体構造予測精度もまた顕著に改善したことが明らかにされている。ゆえに、pLMsの大規模化には相応のメリットがあると期待され、この方向性での研究はしばらく継続されると思われる。

とはいうものの、この“scale is all you need”路線は覇道である。本稿で見た大規模モデルのESM、ProGen、HelixFold、OmegaFoldはそれぞれMeta、Salesforce、Baidu、Helixonが提案したものであり、NVIDIAもこの領域に参入を始めている［152, 153］。公開データを用いた大規模モデル構築は現時点では資本の勝負となっている感が否めない。また、巨大モデルは取り回しが良くないため（例えばESM2-15Bの学習済みモデルファイルサイズは30GB以上ある）、実務上はより小規模なモデルのほうが適している場合もある。したがって、タンパク質配列の持つ生物学的特徴をより貪欲に取り込む工夫をし、性能に対するパラメータ効率の良いモデルを追求する方針も有意義だろう。いくつか萌芽的試みがあるのでここで紹介する。

Outeiralらは、ENA［154］から取得した約900万のcDNA配列を用いて学習したCaLM（Codon adaptation Language Model）を提案している［155］。従来のpLMsのようにアミノ酸が主たる語彙になるのではなく、64種のコドンが語彙になる新しいアプローチである。コドンの冗長性を活用することで、よりリッチな情報抽出ができるか種々のタスクで検証している。結果として、CaLMのパラメータ数は約8,600万とESM2-15BやProtT5等と比較して数十から数百倍少なく、学習データも桁違いに小さいにも関わらず、配列の種推定や熱耐性予測タスクにおいて顕著に高い精度が達成できている。また、ややテクニカルなアプローチとして、MLMにおけるマスク確率・範囲、潜在次元やアテンションヘッド数などのモデルアーキテクチャ、位置エンコーディング手法などをpLMsに対して最適化したAnkh［156］は、ESM2-15B比で3％〜10％程度のパラメータしか持たないが、複数のタスクで最良性能を発揮した。またCNNベースのProteinBERT［36］は、配列に付随するGene Ontology（GO）タグを同時にエンコードすることでTAPE Transformer等と同程度の性能を達成している。Transformerは配列長の2乗に比例する計算量を要求するためCNNベースpLMの実務的利点は大きい。またこの例は、配列以外のモダリティ（GOタグ、機能を説明した自然言語文、立体構造など）を積極的に取り入れるアドバンテージを示すものでもある。

いずれにしても、pLMsは今後、タンパク質配列からの特徴抽出、機能予測、もしくは機能設計を行う上での基盤的な役割を果たすはずである。しかし、すでに数多くのモデルとアプリケーションが提案されていながらも、従来から存在する優れたバイオインフォマティクス手法との精緻な比較や、本来利用可能なはずの生物情報資源の取り込みなどにはまだまだ着手されていない点も多い。本稿がさらに進んだ研究の入り口となれば幸いである。

References

• [1]  Høie, M. H., Kiehl, E. N., Petersen, B., Nielsen, M., Winther, O., Nielsen, H., Hallgren, J., & Marcatili, P. (2022). NetSurfP-3.0: Accurate and fast prediction of protein structural features by protein language models and deep learning. Nucleic Acids Research, 50(W1), W510-W515. https://doi.org/10.1093/nar/gkac439
• [2]  Wang, Q., Wei, J., Zhou, Y., Lin, M., Ren, R., Wang, S., Cui, S., & Li, Z. (2022). Prior knowledge facilitates low homologous protein secondary structure prediction with DSM distillation. Bioinformatics, 38(14), 3574-3581. https://doi.org/10.1093/bioinformatics/btac351
• [3]  Singh, J., Paliwal, K., Litfin, T., Singh, J., & Zhou, Y. (2022). Reaching alignment-profile-based accuracy in predicting protein secondary and tertiary structural properties without alignment. Scientific Reports, 12(1), 7607. https://doi.org/10.1038/s41598-022-11684-w
• [4]  Do, D. T., Le, T. Q. T., & Le, N. Q. K. (2021). Using deep neural networks and biological subwords to detect protein S-sulfenylation sites. Briefings in Bioinformatics, 22(3), bbaa128. https://doi.org/10.1093/bib/bbaa128
• [5]  Zuallaert, J., Ramasamy, P., Bouwmeester, R., Callewaert, N., & Degroeve, S. (2022). PhosphoLingo: Protein language models for phosphorylation site prediction. bioRxiv. https://doi.org/10.1101/2022.11.28.518163
• [6]  Ho, Q.-T., Nguyen, T.-T.-D., Khanh Le, N. Q., & Ou, Y.-Y. (2021). FAD-BERT: Improved prediction of FAD binding sites using pre-training of deep bidirectional transformers. Computers in Biology and Medicine, 131, 104258. https://doi.org/10.1016/j.compbiomed.2021.104258
• [7]  Yuan, Q., Chen, S., Wang, Y., Zhao, H., & Yang, Y. (2022). Alignment-free metal ion-binding site prediction from protein sequence through pretrained language model and multi-task learning. Briefings in Bioinformatics, 23(6), bbac444. https://doi.org/10.1093/bib/bbac444
• [8]  Yeung, W., Zhou, Z., Li, S., & Kannan, N. (2023). Alignment-free estimation of sequence conservation for identifying functional sites using protein sequence embeddings. Briefings in Bioinformatics, 24(1), bbac599. https://doi.org/10.1093/bib/bbac599
• [9]  Stärk, H., Dallago, C., Heinzinger, M., & Rost, B. (2021). Light attention predicts protein location from the language of life. Bioinformatics Advances, 1(1), vbab035. https://doi.org/10.1093/bioadv/vbab035
• [10]  Thumuluri, V., Almagro Armenteros, J. J., Johansen, A. R., Nielsen, H., & Winther, O. (2022). DeepLoc 2.0: Multi-label subcellular localization prediction using protein language models. Nucleic Acids Research, 50(W1), W228-W234. https://doi.org/10.1093/nar/gkac278
• [11]  The Gene Ontology Consortium, Carbon, S., Douglass, E., Good, B. M., Unni, D. R., Harris, N. L., Mungall, C. J., Basu, S., Chisholm, R. L., Dodson, R. J., Hartline, E., Fey, P., Thomas, P. D., Albou, L.-P., Ebert, D., Kesling, M. J., Mi, H., Muruganujan, A., Huang, X., … Elser, J. (2021). The Gene Ontology resource: Enriching a GOld mine. Nucleic Acids Research, 49(D1), D325-D334. https://doi.org/10.1093/nar/gkaa1113
• [12]  Strodthoff, N., Wagner, P., Wenzel, M., & Samek, W. (2020). UDSMProt: Universal deep sequence models for protein classification. Bioinformatics, 36(8), 2401-2409. https://doi.org/10.1093/bioinformatics/btaa003
• [13]  Littmann, M., Heinzinger, M., Dallago, C., Olenyi, T., & Rost, B. (2021). Embeddings from deep learning transfer GO annotations beyond homology. Scientific Reports, 11(1), 1160. https://doi.org/10.1038/s41598-020-80786-0
• [14]  Manfredi, M., Savojardo, C., Martelli, P. L., & Casadio, R. (2022). E-SNPs&GO: Embedding of protein sequence and function improves the annotation of human pathogenic variants. Bioinformatics, 38(23), 5168-5174. https://doi.org/10.1093/bioinformatics/btac678
• [15]  Gligorijević, V., Renfrew, P. D., Kosciolek, T., Leman, J. K., Berenberg, D., Vatanen, T., Chandler, C., Taylor, B. C., Fisk, I. M., Vlamakis, H., Xavier, R. J., Knight, R., Cho, K., & Bonneau, R. (2021). Structure-based protein function prediction using graph convolutional networks. Nature Communications, 12(1), 3168. https://doi.org/10.1038/s41467-021-23303-9
• [16]  Teufel, F., Almagro Armenteros, J. J., Johansen, A. R., Gíslason, M. H., Pihl, S. I., Tsirigos, K. D., Winther, O., Brunak, S., von Heijne, G., & Nielsen, H. (2022). SignalP 6.0 predicts all five types of signal peptides using protein language models. Nature Biotechnology, 40(7), 1023-1025. https://doi.org/10.1038/s41587-021-01156-3
• [17]  Bernhofer, M., & Rost, B. (2022). TMbed: Transmembrane proteins predicted through language model embeddings. BMC Bioinformatics, 23(1), 326. https://doi.org/10.1186/s12859-022-04873-x
• [18]  Yamaguchi, H., Saito, Y. (2022). EvoOpt: an MSA-guided, fully unsupervised sequence optimization pipeline for protein design. Machine Learning for Structural Biology Workshop, NeurIPS 2022. https://www.mlsb.io/papers_2022/EvoOpt_an_MSA_guided_fully_unsupervised_sequence_optimization_pipeline_for_protein_design.pdf
• [19]  Castro, E., Godavarthi, A., Rubinfien, J., Givechian, K., Bhaskar, D., & Krishnaswamy, S. (2022). Transformer-based protein generation with regularized latent space optimization. Nature Machine Intelligence, 4(10), 840-851. https://doi.org/10.1038/s42256-022-00532-1
• [20]  Olsen, T. H., Moal, I. H., & Deane, C. M. (2022). AbLang: An antibody language model for completing antibody sequences. Bioinformatics Advances, 2(1), vbac046. https://doi.org/10.1093/bioadv/vbac046
• [21]  Leem, J., Mitchell, L. S., Farmery, J. H. R., Barton, J., & Galson, J. D. (2022). Deciphering the language of antibodies using self-supervised learning. Patterns, 3(7), 100513. https://doi.org/10.1016/j.patter.2022.100513
• [22]  Essaghir, A., Sathiyamoorthy, N. K., Smyth, P., Postelnicu, A., Ghiviriga, S., Ghita, A., Singh, A., Kapil, S., Phogat, S., & Singh, G. (2022). T-cell receptor specific protein language model for prediction and interpretation of epitope binding (Protlm. Tcr). bioRxiv. https://doi.org/10.1101/2022.11.28.518167
• [23]  Wang, D., Ye, F., & Hao, Z. (2023). On pre-trained language models for antibody. bioRxiv. https://doi.org/10.1101/2023.01.29.525793
• [24]  Ruffolo, J. A., Sulam, J., & Gray, J. J. (2022). Antibody structure prediction using interpretable deep learning. Patterns, 3(2), 100406. https://doi.org/10.1016/j.patter.2021.100406
• [25]  Ruffolo, J. A., Chu, L.-S., Mahajan, S. P., & Gray, J. J. (2022). Fast, accurate antibody structure prediction from deep learning on massive set of natural antibodies. bioRxiv. https://doi.org/10.1101/2022.04.20.488972
• [26]  Saka, K., Kakuzaki, T., Metsugi, S., Kashiwagi, D., Yoshida, K., Wada, M., Tsunoda, H., & Teramoto, R. (2021). Antibody design using LSTM based deep generative model from phage display library for affinity maturation. Scientific Reports, 11(1), 5852. https://doi.org/10.1038/s41598-021-85274-7
• [27]  Ruffolo, J. A., Gray, J. J., & Sulam, J. (2021). Deciphering antibody affinity maturation with language models and weakly supervised learning. arXiv. https://doi.org/10.48550/arXiv.2112.07782
• [28]  Bachas, S., Rakocevic, G., Spencer, D., Sastry, A. V., Haile, R., Sutton, J. M., Kasun, G., Stachyra, A., Gutierrez, J. M., Yassine, E., Medjo, B., Blay, V., Kohnert, C., Stanton, J. T., Brown, A., Tijanic, N., McCloskey, C., Viazzo, R., Consbruck, R., … Spreafico, R. (2022). Antibody optimization enabled by artificial intelligence predictions of binding affinity and naturalness. bioRxiv. https://doi.org/10.1101/2022.08.16.504181
• [29]  Shanehsazzadeh, A., Bachas, S., Kasun, G., Sutton, J. M., Steiger, A. K., Shuai, R., Kohnert, C., Morehead, A., Brown, A., Chung, C., Luton, B. K., Diaz, N., McPartlon, M., Knight, B., Radach, M., Bateman, K., Spencer, D. A., Cejovic, J., Kopec-Belliveau, G., … Meier, J. (2023). Unlocking de novo antibody design with generative artificial intelligence. bioRxiv. https://doi.org/10.1101/2023.01.08.523187
• [30]  Bengio, Y., Courville, A., & Vincent, P. (2013). Representation learning: A review and new perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(8), 1798-1828. https://doi.org/10.1109/TPAMI.2013.50
• [31]  Bengio, Y., Ducharme, R., Vincent, P., & Jauvin, C. (2003). A neural probabilistic language model. Journal of Machine Learning Research, 3(6), 1137-1155. https://www.jmlr.org/papers/v3/bengio03a.html
• [32]  Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient estimation of word representations in vector space. arXiv. https://doi.org/10.48550/arXiv.1301.3781
• [33]  Asgari, E., & Mofrad, M. R. K. (2015). Continuous distributed representation of biological sequences for deep proteomics and genomics. PLOS ONE, 10(11), e0141287. https://doi.org/10.1371/journal.pone.0141287
• [34]  Yang, K. K., Wu, Z., Bedbrook, C. N., & Arnold, F. H. (2018). Learned protein embeddings for machine learning. Bioinformatics, 34(15), 2642-2648. https://doi.org/10.1093/bioinformatics/bty178
• [35]  Yang, K. K., Lu, A. X., & Fusi, N. (2022). Convolutions are competitive with transformers for protein sequence pretraining. ICLR2022 Machine Learning for Drug Discovery. https://openreview.net/forum?id=3i7WPak2sCx
• [36]  Brandes, N., Ofer, D., Peleg, Y., Rappoport, N., & Linial, M. (2022). ProteinBERT: A universal deep-learning model of protein sequence and function. Bioinformatics, 38(8), 2102-2110. https://doi.org/10.1093/bioinformatics/btac020
• [37]  Bepler, T., & Berger, B. (2018). Learning protein sequence embeddings using information from structure. International Conference on Learning Representations. https://openreview.net/forum?id=SygLehCqtm
• [38]  Heinzinger, M., Elnaggar, A., Wang, Y., Dallago, C., Nechaev, D., Matthes, F., & Rost, B. (2019). Modeling aspects of the language of life through transfer-learning protein sequences. BMC Bioinformatics, 20(1), 723. https://doi.org/10.1186/s12859-019-3220-8
• [39]  Alley, E. C., Khimulya, G., Biswas, S., AlQuraishi, M., & Church, G. M. (2019). Unified rational protein engineering with sequence-based deep representation learning. Nature Methods, 16(12), 1315-1322. https://doi.org/10.1038/s41592-019-0598-1
• [40]  Ma, E. J., & Kummer, A. (2020). Reimplementing unirep in jax. bioRxiv. https://doi.org/10.1101/2020.05.11.088344
• [41]  Ibtehaz, N., & Kihara, D. (2022). Application of sequence embedding in protein sequence-based predictions. Machine Learning in Bioinformatics of Protein Sequences (pp. 31-55). WORLD SCIENTIFIC. https://doi.org/10.1142/9789811258589_0002
• [42]  Iuchi, H., Matsutani, T., Yamada, K., Iwano, N., Sumi, S., Hosoda, S., Zhao, S., Fukunaga, T., & Hamada, M. (2021). Representation learning applications in biological sequence analysis. Computational and Structural Biotechnology Journal, 19, 3198-3208. https://doi.org/10.1016/j.csbj.2021.05.039
• [43]  Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Proceedings of the 31st International Conference on Neural Information Processing Systems, 6000-6010. https://dl.acm.org/doi/10.5555/3295222.3295349
• [44]  Su, J., Lu, Y., Pan, S., Murtadha, A., Wen, B., & Liu, Y. (2022). Roformer: Enhanced transformer with rotary position embedding. arXiv. https://doi.org/10.48550/arXiv.2104.09864
• [45]  Dufter, P., Schmitt, M., & Schütze, H. (2022). Position information in transformers: An overview. Computational Linguistics, 48(3), 733-763. https://doi.org/10.1162/coli_a_00445
• [46]  Amatriain, X. (2023). Transformer models: An introduction and catalog. arXiv. https://doi.org/10.48550/arXiv.2302.07730
• [47]  Huang, A., Subramanian, S., Sum, J., Almubarak, K., & Biderman, S. (2022). The Annotated Transformer. http://nlp.seas.harvard.edu/annotated-transformer/
• [48]  Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). Bert: Pre-training of deep bidirectional transformers for language understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 4171-4186. https://doi.org/10.18653/v1/N19-1423
• [49]  Suzek, B. E., Wang, Y., Huang, H., McGarvey, P. B., Wu, C. H., & the UniProt Consortium. (2015). UniRef clusters: A comprehensive and scalable alternative for improving sequence similarity searches. Bioinformatics, 31(6), 926-932. https://doi.org/10.1093/bioinformatics/btu739
• [50]  Krause, B., Lu, L., Murray, I., & Renals, S. (2017). Multiplicative LSTM for sequence modelling. arXiv. https://doi.org/10.48550/arXiv.1609.07959
• [51]  Rao, R., Bhattacharya, N., Thomas, N., Duan, Y., Chen, X., Canny, J., Abbeel, P., & Song, Y. S. (2019). Evaluating protein transfer learning with TAPE. Proceedings of the 33rd International Conference on Neural Information Processing Systems (pp. 9689-9701). Curran Associates Inc. https://dl.acm.org/doi/abs/10.5555/3454287.3455156
• [52]  Rives, A., Meier, J., Sercu, T., Goyal, S., Lin, Z., Liu, J., Guo, D., Ott, M., Zitnick, C. L., Ma, J., & Fergus, R. (2021). Biological structure and function emerge from scaling unsupervised learning to 250 million protein sequences. Proceedings of the National Academy of Sciences, 118(15), e2016239118. https://doi.org/10.1073/pnas.2016239118
• [53]  Lin, Z., Akin, H., Rao, R., Hie, B., Zhu, Z., Lu, W., Smetanin, N., Verkuil, R., Kabeli, O., Shmueli, Y., Dos Santos Costa, A., Fazel-Zarandi, M., Sercu, T., Candido, S., & Rives, A. (2023). Evolutionary-scale prediction of atomic-level protein structure with a language model. Science, 379 (6637), 1123-1130. https://doi.org/10.1126/science.ade2574
• [54]  Rao, R. M., Liu, J., Verkuil, R., Meier, J., Canny, J., Abbeel, P., Sercu, T., & Rives, A. (2021). Msa transformer. Proceedings of the 38th International Conference on Machine Learning, 8844-8856. https://proceedings.mlr.press/v139/rao21a.html
• [55]  Elnaggar, A., Heinzinger, M., Dallago, C., Rehawi, G., Wang, Y., Jones, L., Gibbs, T., Feher, T., Angerer, C., Steinegger, M., Bhowmik, D., & Rost, B. (2022). Prottrans: Toward understanding the language of life through self-supervised learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 44(10), 7112-7127. https://doi.org/10.1109/TPAMI.2021.3095381
• [56]  Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., & Liu, P. J. (2020). Exploring the limits of transfer learning with a unified text-to-text transformer. The Journal of Machine Learning Research, 21(1), 140:5485-140:5551. https://dl.acm.org/doi/abs/10.5555/3455716.3455856
• [57]  Zhou, C., Li, Q., Li, C., Yu, J., Liu, Y., Wang, G., Zhang, K., Ji, C., Yan, Q., He, L., Peng, H., Li, J., Wu, J., Liu, Z., Xie, P., Xiong, C., Pei, J., Yu, P. S., & Sun, L. (2023). A comprehensive survey on pretrained foundation models: A history from bert to chatgpt. arXiv. https://doi.org/10.48550/arXiv.2302.09419
• [58]  Dallago, C., Schütze, K., Heinzinger, M., Olenyi, T., Littmann, M., Lu, A. X., Yang, K. K., Min, S., Yoon, S., Morton, J. T., & Rost, B. (2021). Learned embeddings from deep learning to visualize and predict protein sets. Current Protocols, 1(5). https://doi.org/10.1002/cpz1.113
• [59]  Kawashima, S., Ogata, H., & Kanehisa, M. (1999). Aaindex: Amino acid index database. Nucleic Acids Research, 27(1), 368-369. https://doi.org/10.1093/nar/27.1.368
• [60]  Yang, L., Shu, M., Ma, K., Mei, H., Jiang, Y., & Li, Z. (2010). ST-scale as a novel amino acid descriptor and its application in QSAM of peptides and analogues. Amino Acids, 38(3), 805-816. https://doi.org/10.1007/s00726-009-0287-y
• [61]  Sandberg, M., Eriksson, L., Jonsson, J., Sjöström, M., & Wold, S. (1998). New chemical descriptors relevant for the design of biologically active peptides. A multivariate characterization of 87 amino acids. Journal of Medicinal Chemistry, 41(14), 2481-2491. https://doi.org/10.1021/jm9700575
• [62]  Tian, F., Zhou, P., & Li, Z. (2007). T-scale as a novel vector of topological descriptors for amino acids and its application in QSARs of peptides. Journal of Molecular Structure, 830(1), 106-115. https://doi.org/10.1016/j.molstruc.2006.07.004
• [63]  Liang, G., Chen, G., Niu, W., & Li, Z. (2008). Factor analysis scales of generalized amino acid information as applied in predicting interactions between the human amphiphysin-1 sh3 domains and their peptide ligands. Chemical Biology & Drug Design, 71(4), 345-351. https://doi.org/10.1111/j.1747-0285.2008.00641.x
• [64]  Zaliani, A., & Gancia, E. (1999). Ms-whim scores for amino acids: A new 3d-description for peptide qsar and qspr studies. Journal of Chemical Information and Computer Sciences, 39(3), 525-533. https://doi.org/10.1021/ci980211b
• [65]  van Westen, G. J., Swier, R. F., Cortes-Ciriano, I., Wegner, J. K., Overington, J. P., IJzerman, A. P., van Vlijmen, H. W., & Bender, A. (2013). Benchmarking of protein descriptor sets in proteochemometric modeling (Part 2): Modeling performance of 13 amino acid descriptor sets. Journal of Cheminformatics, 5(1), 42. https://doi.org/10.1186/1758-2946-5-42
• [66]  Mei, H., Liao, Z. H., Zhou, Y., & Li, S. Z. (2005). A new set of amino acid descriptors and its application in peptide QSARs. Biopolymers, 80(6), 775-786. https://doi.org/10.1002/bip.20296
• [67]  Altschul, S. F., Madden, T. L., Schäffer, A. A., Zhang, J., Zhang, Z., Miller, W., & Lipman, D. J. (09 1997). Gapped BLAST and PSI-BLAST: a new generation of protein database search programs. Nucleic Acids Research, 25(17), 3389-3402. https://doi.org/10.1093/nar/25.17.3389
• [68]  van der Maaten, L., Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research, 9, 2579-2605. https://lvdmaaten.github.io/publications/papers/JMLR_2008.pdf
• [69]  Vig, J., Madani, A., Varshney, L. R., Xiong, C., Socher, R., & Rajani, N. (2022). Bertology meets biology: Interpreting attention in protein language models. International Conference on Learning Representations. https://openreview.net/forum?id=YWtLZvLmud7
• [70]  Needleman, S. B., & Wunsch, C. D. (1970). A general method applicable to the search for similarities in the amino acid sequence of two proteins. Journal of Molecular Biology, 48(3), 443-453. https://doi.org/10.1016/0022-2836(70)90057-4
• [71]  Smith, T. F., & Waterman, M. S. (1981). Identification of common molecular subsequences. Journal of Molecular Biology, 147(1), 195-197. https://doi.org/10.1016/0022-2836(81)90087-5
• [72]  Gotoh, O. (1982). An improved algorithm for matching biological sequences. Journal of Molecular Biology, 162(3), 705-708. https://doi.org/10.1016/0022-2836(82)90398-9
• [73]  Fox, N. K., Brenner, S. E., & Chandonia, J.-M. (12 2013). SCOPe: Structural Classification of Proteins—extended, integrating SCOP and ASTRAL data and classification of new structures. Nucleic Acids Research, 42(D1), D304-D309. https://doi.org/10.1093/nar/gkt1240
• [74]  Remmert, M., Biegert, A., Hauser, A., & Söding, J. (2012). HHblits: Lightning-fast iterative protein sequence searching by HMM-HMM alignment. Nature Methods, 9(2), 173-175. https://doi.org/10.1038/nmeth.1818
• [75]  Schütze, K., Heinzinger, M., Steinegger, M., & Rost, B. (2022). Nearest neighbor search on embeddings rapidly identifies distant protein relations. Frontiers in Bioinformatics, 2. https://doi.org/10.3389/fbinf.2022.1033775
• [76]  Nallapareddy, V., Bordin, N., Sillitoe, I., Heinzinger, M., Littmann, M., Waman, V. P., Sen, N., Rost, B., & Orengo, C. (2023). CATHe: Detection of remote homologues for CATH superfamilies using embeddings from protein language models. Bioinformatics, 39(1), btad029. https://doi.org/10.1093/bioinformatics/btad029
• [77]  Lewis, T. E., Sillitoe, I., Dawson, N., Lam, S. D., Clarke, T., Lee, D., … Lees, J. (11 2017). Gene3D: Extensive prediction of globular domains in proteins. Nucleic Acids Research, 46(D1), D435-D439. https://doi.org/10.1093/nar/gkx1069
• [78]  Zhang, Y., & Skolnick, J. (01 2005). TM-align: a protein structure alignment algorithm based on the TM-score. Nucleic Acids Research, 33(7), 2302-2309. https://doi.org/10.1093/nar/gki524
• [79]  Mensch, A., & Blondel, M. (2018). Differentiable dynamic programming for structured prediction and attention. Proceedings of the 35th International Conference on Machine Learning, 3462-3471. https://proceedings.mlr.press/v80/mensch18a.html
• [80]  Morton, J. T., Strauss, C. E. M., Blackwell, R., Berenberg, D., Gligorijevic, V., & Bonneau, R. (2020). Protein structural alignments from sequence. bioRxiv. https://doi.org/10.1101/2020.11.03.365932
• [81]  Llinares-López, F., Berthet, Q., Blondel, M., Teboul, O., & Vert, J.-P. (2023). Deep embedding and alignment of protein sequences. Nature Methods, 20(1), 104-111. https://doi.org/10.1038/s41592-022-01700-2
• [82]  Mistry, J., Chuguransky, S., Williams, L., Qureshi, M., Salazar, G. A., Sonnhammer, E. L. L., … Bateman, A. (10 2020). Pfam: The protein families database in 2021. Nucleic Acids Research, 49(D1), D412-D419. https://doi.org/10.1093/nar/gkaa913
• [83]  Karlin, S., & Altschul, S. F. (1990). Methods for assessing the statistical significance of molecular sequence features by using general scoring schemes. Proceedings of the National Academy of Sciences, 87(6), 2264-2268. https://doi.org/10.1073/pnas.87.6.2264
• [84]  Matsui, M. (2021). 分子系統解析の最前線．JSBi Bioinformatics Review, 2(1), 30-57. https://doi.org/10.11234/jsbibr.2021.7
• [85]  Hu, M., Yuan, F., Yang, K. K., Ju, F., Su, J., Wang, H., Yang, F., & Ding, Q. (2022). Exploring evolution-aware & -free protein language models as protein function predictors. arXiv. https://doi.org/10.48550/arXiv.2206.06583
• [86]  Jumper, J., Evans, R., Pritzel, A., Green, T., Figurnov, M., Ronneberger, O., Tunyasuvunakool, K., Bates, R., Žídek, A., Potapenko, A., Bridgland, A., Meyer, C., Kohl, S. A. A., Ballard, A. J., Cowie, A., Romera-Paredes, B., Nikolov, S., Jain, R., Adler, J., … Hassabis, D. (2021). Highly accurate protein structure prediction with AlphaFold. Nature, 596(7873), 583-589. https://doi.org/10.1038/s41586-021-03819-2
• [87]  Eddy, S. R. (2011). Accelerated profile hmm searches. PLOS Computational Biology, 7(10), e1002195. https://doi.org/10.1371/journal.pcbi.1002195
• [88]  Hie, B. L., Yang, K. K., & Kim, P. S. (2022). Evolutionary velocity with protein language models predicts evolutionary dynamics of diverse proteins. Cell Systems, 13(4), 274-285.e6. https://doi.org/10.1016/j.cels.2022.01.003
• [89]  Arnold, F. H. (1998). Design by directed evolution. Accounts of Chemical Research, 31(3), 125-131. https://doi.org/10.1021/ar960017f
• [90]  Fox, R. J., Davis, S. C., Mundorff, E. C., Newman, L. M., Gavrilovic, V., Ma, S. K., Chung, L. M., Ching, C., Tam, S., Muley, S., Grate, J., Gruber, J., Whitman, J. C., Sheldon, R. A., & Huisman, G. W. (2007). Improving catalytic function by ProSAR-driven enzyme evolution. Nature Biotechnology, 25(3), 338-344. https://doi.org/10.1038/nbt1286
• [91]  Esvelt, K. M., Carlson, J. C., & Liu, D. R. (2011). A system for the continuous directed evolution of biomolecules. Nature, 472(7344), 499-503. https://doi.org/10.1038/nature09929
• [92]  Yang, K. K., Wu, Z., & Arnold, F. H. (2019). Machine-learning-guided directed evolution for protein engineering. Nature Methods, 16(8), 687-694. https://doi.org/10.1038/s41592-019-0496-6
• [93]  Saito, Y., Oikawa, M., Nakazawa, H., Niide, T., Kameda, T., Tsuda, K., & Umetsu, M. (2018). Machine-learning-guided mutagenesis for directed evolution of fluorescent proteins. ACS Synthetic Biology, 7(9), 2014-2022. https://doi.org/10.1021/acssynbio.8b00155
• [94]  Wu, Z., Kan, S. B. J., Lewis, R. D., Wittmann, B. J., & Arnold, F. H. (2019). Machine learning-assisted directed protein evolution with combinatorial libraries. Proceedings of the National Academy of Sciences, 116(18), 8852-8858. https://doi.org/10.1073/pnas.1901979116
• [95]  Bedbrook, C. N., Yang, K. K., Robinson, J. E., Mackey, E. D., Gradinaru, V., & Arnold, F. H. (2019). Machine learning-guided channelrhodopsin engineering enables minimally invasive optogenetics. Nature Methods, 16(11), 1176-1184. https://doi.org/10.1038/s41592-019-0583-8
• [96]  Lu, H., Diaz, D. J., Czarnecki, N. J., Zhu, C., Kim, W., Shroff, R., Acosta, D. J., Alexander, B. R., Cole, H. O., Zhang, Y., Lynd, N. A., Ellington, A. D., & Alper, H. S. (2022). Machine learning-aided engineering of hydrolases for PET depolymerization. Nature, 604(7907), 662-667. https://doi.org/10.1038/s41586-022-04599-z
• [97]  Riesselman, A. J., Ingraham, J. B., & Marks, D. S. (2018). Deep generative models of genetic variation capture the effects of mutations. Nature Methods, 15(10), 816-822. https://doi.org/10.1038/s41592-018-0138-4
• [98]  Frazer, J., Notin, P., Dias, M., Gomez, A., Min, J. K., Brock, K., Gal, Y., & Marks, D. S. (2021). Disease variant prediction with deep generative models of evolutionary data. Nature, 599(7883), 91-95. https://doi.org/10.1038/s41586-021-04043-8
• [99]  Kingma, D. P., & Welling, M. (2013). Auto-encoding variational bayes. https://openreview.net/forum?id=33X9fd2-9FyZd
• [100]  Meier, J., Rao, R., Verkuil, R., Liu, J., Sercu, T., & Rives, A. (2022). Language models enable zero-shot prediction of the effects of mutations on protein function. Advances in Neural Information Processing Systems. https://openreview.net/forum?id=uXc42E9ZPFs
• [101]  Notin, P., Dias, M., Frazer, J., Marchena-Hurtado, J., Gomez, A., Marks, D. S., & Gal, Y. (2022). Tranception: Protein fitness prediction with autoregressive transformers and inference-time retrieval. arXiv. https://doi.org/10.48550/arXiv.2205.13760
• [102]  Notin, P., Niekerk, L. V., Kollasch, A. W., Ritter, D., Gal, Y., & Marks, D. S. (2022). Trancepteve: Combining family-specific and family-agnostic models of protein sequences for improved fitness prediction. NeurIPS 2022 Workshop on Learning Meaningful Representations of Life. https://openreview.net/forum?id=l7Oo9DcLmR1
• [103]  https://www.proteingym.org/
• [104]  Ben Chorin, A., Masrati, G., Kessel, A., Narunsky, A., Sprinzak, J., Lahav, S., Ashkenazy, H., & Ben‐Tal, N. (2020). ConSurf‐DB: An accessible repository for the evolutionary conservation patterns of the majority of PDB proteins. Protein Science, 29(1), 258-267. https://doi.org/10.1002/pro.3779
• [105]  Henikoff, S., & Henikoff, J. G. (1992). Amino acid substitution matrices from protein blocks. Proceedings of the National Academy of Sciences, 89(22), 10915-10919. https://doi.org/10.1073/pnas.89.22.10915
• [106]  Marquet, C., Heinzinger, M., Olenyi, T., Dallago, C., Erckert, K., Bernhofer, M., Nechaev, D., & Rost, B. (2022). Embeddings from protein language models predict conservation and variant effects. Human Genetics, 141(10), 1629-1647. https://doi.org/10.1007/s00439-021-02411-y
• [107]  Yamaguchi, H., & Saito, Y. (2021). Evotuning protocols for Transformer-based variant effect prediction on multi-domain proteins. Briefings in Bioinformatics, 22(6), bbab234. https://doi.org/10.1093/bib/bbab234
• [108]  Luo, Y., Jiang, G., Yu, T., Liu, Y., Vo, L., Ding, H., Su, Y., Qian, W. W., Zhao, H., & Peng, J. (2021). ECNet is an evolutionary context-integrated deep learning framework for protein engineering. Nature Communications, 12(1), 5743. https://doi.org/10.1038/s41467-021-25976-8
• [109]  Seemayer, S., Gruber, M., & Söding, J. (2014). CCMpred—Fast and precise prediction of protein residue-residue contacts from correlated mutations. Bioinformatics, 30(21), 3128-3130. https://doi.org/10.1093/bioinformatics/btu500
• [110]  Fowler, D. M., & Fields, S. (2014). Deep mutational scanning: A new style of protein science. Nature Methods, 11(8), 801-807. https://doi.org/10.1038/nmeth.3027
• [111]  Sarkisyan, K. S., Bolotin, D. A., Meer, M. V., Usmanova, D. R., Mishin, A. S., Sharonov, G. V., Ivankov, D. N., Bozhanova, N. G., Baranov, M. S., Soylemez, O., Bogatyreva, N. S., Vlasov, P. K., Egorov, E. S., Logacheva, M. D., Kondrashov, A. S., Chudakov, D. M., Putintseva, E. V., Mamedov, I. Z., Tawfik, D. S., … Kondrashov, F. A. (2016). Local fitness landscape of the green fluorescent protein. Nature, 533(7603), 397-401. https://doi.org/10.1038/nature17995
• [112]  Li, M., Kang, L., Xiong, Y., Wang, Y. G., Fan, G., Tan, P., & Hong, L. (2023). SESNet: Sequence-structure feature-integrated deep learning method for data-efficient protein engineering. Journal of Cheminformatics, 15(1), 12. https://doi.org/10.1186/s13321-023-00688-x
• [113]  Thumuluri, V., Martiny, H.-M., Almagro Armenteros, J. J., Salomon, J., Nielsen, H., & Johansen, A. R. (2022). NetSolP: Predicting protein solubility in Escherichia coli using language models. Bioinformatics, 38(4), 941-946. https://doi.org/10.1093/bioinformatics/btab801
• [114]  Chen, T., Gong, C., Diaz, D. J., Chen, X., Wells, J. T., Liu, Q., Wang, Z., Ellington, A., Dimakis, A., & Klivans, A. (2023, 2月 1). Hotprotein: A novel framework for protein thermostability prediction and editing. The Eleventh International Conference on Learning Representations. https://openreview.net/forum?id=YDJRFWBMNby
• [115]  Efron, B., Hastie, T., Johnstone, I., & Tibshirani, R. (2004). Least angle regression. The Annals of Statistics, 32(2). https://doi.org/10.1214/009053604000000067
• [116]  Pédelacq, J.-D., Cabantous, S., Tran, T., Terwilliger, T. C., & Waldo, G. S. (2006). Engineering and characterization of a superfolder green fluorescent protein. Nature Biotechnology, 24(1), 79-88. https://doi.org/10.1038/nbt1172
• [117]  Biswas, S., Khimulya, G., Alley, E. C., Esvelt, K. M., & Church, G. M. (2021). Low-N protein engineering with data-efficient deep learning. Nature Methods, 18(4), 389-396. https://doi.org/10.1038/s41592-021-01100-y
• [118]  Garnett, R. (2023). Bayesian optimization. Cambridge University Press. https://doi.org/10.1017/9781108348973
• [119]  Ueno, T., Rhone, T. D., Hou, Z., Mizoguchi, T., & Tsuda, K. (2016). COMBO: An efficient Bayesian optimization library for materials science. Materials Discovery, 4, 18-21. https://doi.org/10.1016/j.md.2016.04.001
• [120]  Ogawa, Y., Saito, Y., Yamaguchi, H., Katsuyama, Y., & Ohnishi, Y. (2023). Engineering the substrate specificity of toluene degrading enzyme xylm using biosensor xyls and machine learning. ACS Synthetic Biology, 12(2), 572-582. https://doi.org/10.1021/acssynbio.2c00577
• [121]  Hie, B. L., Xu, D., Shanker, V. R., Bruun, T. U. J., Weidenbacher, P. A., Tang, S., & Kim, P. S. (2022). Efficient evolution of human antibodies from general protein language models and sequence information alone. bioRxiv. https://doi.org/10.1101/2022.04.10.487811
• [122]  Baek, M., DiMaio, F., Anishchenko, I., Dauparas, J., Ovchinnikov, S., Lee, G. R., Wang, J., Cong, Q., Kinch, L. N., Schaeffer, R. D., Millán, C., Park, H., Adams, C., Glassman, C. R., DeGiovanni, A., Pereira, J. H., Rodrigues, A. V., Van Dijk, A. A., Ebrecht, A. C., … Baker, D. (2021). Accurate prediction of protein structures and interactions using a three-track neural network. Science, 373(6557), 871-876. https://doi.org/10.1126/science.abj8754
• [123]  Moriwaki, Y. (2022). Alphafold2までのタンパク質立体構造予測の軌跡とこれから．JSBi Bioinformatics Review, 3(2), 47-60. https://doi.org/10.11234/jsbibr.2022.3
• [124]  Kryshtafovych, A., Schwede, T., Topf, M., Fidelis, K., & Moult, J. (2019). Critical assessment of methods of protein structure prediction (Casp)—Round XIII. Proteins: Structure, Function, and Bioinformatics, 87(12), 1011-1020. https://doi.org/10.1002/prot.25823
• [125]  https://predictioncenter.org/casp15/zscores_final.cgi
• [126]  Oda, T. (2022). Protein tertiary and quaternary structure prediction using AlphaFold2 with various metagenomic databases. https://www.pezy.co.jp/wp-content/uploads/2022/12/Predictor_Tosiyuki_Oda_CASP15_poster.pdf
• [127]  Yang, J. (2022). Prediction of TS and protein assembly by trRosettaX2 and AlphaFold2. https://predictioncenter.org/casp15/doc/presentations/Day2/Predictor_JianyiYANG_CASP15.pdf
• [128]  Zheng, W., Wuyun, Q., Freddolino, P. L. (2022). D-I-TASSER: Integrating Deep Learning with multi-MSAs and threading alignments for protein structure prediction. https://predictioncenter.org/casp15/doc/presentations/Day2/Predictor_PFreddolino_WZheng.pdf
• [129]  Fang, X., Wang, F., Liu, L., He, J., Lin, D., Xiang, Y., Zhang, X., Wu, H., Li, H., & Song, L. (2023). Helixfold-single: Msa-free protein structure prediction by using protein language model as an alternative. arXiv. https://doi.org/10.48550/arXiv.2207.13921
• [130]  Chowdhury, R., Bouatta, N., Biswas, S., Floristean, C., Kharkar, A., Roy, K., Rochereau, C., Ahdritz, G., Zhang, J., Church, G. M., Sorger, P. K., & AlQuraishi, M. (2022). Single-sequence protein structure prediction using a language model and deep learning. Nature Biotechnology, 40(11), 1617-1623. https://doi.org/10.1038/s41587-022-01432-w
• [131]  Wu, R., Ding, F., Wang, R., Shen, R., Zhang, X., Luo, S., Su, C., Wu, Z., Xie, Q., Berger, B., Ma, J., & Peng, J. (2022). High-resolution de novo structure prediction from primary sequence. bioRxiv. https://doi.org/10.1101/2022.07.21.500999
• [132]  Wang, W., Peng, Z., & Yang, J. (2022). Single-sequence protein structure prediction using supervised transformer protein language models. Nature Computational Science, 2(12), 804-814. https://doi.org/10.1038/s43588-022-00373-3
• [133]  Weissenow, K., Heinzinger, M., & Rost, B. (2022). Protein language-model embeddings for fast, accurate, and alignment-free protein structure prediction. Structure, 30(8), 1169-1177.e4. https://doi.org/10.1016/j.str.2022.05.001
• [134]  Weissenow, K., Heinzinger, M., Steinegger, M., & Rost, B. (2022). Ultra-fast protein structure prediction to capture effects of sequence variation in mutation movies. bioRxiv. https://doi.org/10.1101/2022.11.14.516473
• [135]  Tautz, D., & Domazet-Lošo, T. (2011). The evolutionary origin of orphan genes. Nature Reviews Genetics, 12(10), 692-702. https://doi.org/10.1038/nrg3053
• [136]  Gelman, S., Fahlberg, S. A., Heinzelman, P., Romero, P. A., & Gitter, A. (2021). Neural networks to learn protein sequence-function relationships from deep mutational scanning data. Proceedings of the National Academy of Sciences, 118(48), e2104878118. https://doi.org/10.1073/pnas.2104878118
• [137]  Mirdita, M., Schütze, K., Moriwaki, Y., Heo, L., Ovchinnikov, S., & Steinegger, M. (2022). ColabFold: Making protein folding accessible to all. Nature Methods, 19(6), 679-682. https://doi.org/10.1038/s41592-022-01488-1
• [138]  Goodfellow, I. J., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., & Bengio, Y. (2014). Generative adversarial nets. Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2, 2672-2680. https://dl.acm.org/doi/10.5555/2969033.2969125
• [139]  Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., Sutskever, I. (2018). Language Models are Unsupervised Multitask Learners. https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf
• [140]  Hawkins-Hooker, A., Depardieu, F., Baur, S., Couairon, G., Chen, A., & Bikard, D. (2021). Generating functional protein variants with variational autoencoders. PLOS Computational Biology, 17(2), e1008736. https://doi.org/10.1371/journal.pcbi.1008736
• [141]  Repecka, D., Jauniskis, V., Karpus, L., Rembeza, E., Rokaitis, I., Zrimec, J., Poviloniene, S., Laurynenas, A., Viknander, S., Abuajwa, W., Savolainen, O., Meskys, R., Engqvist, M. K. M., & Zelezniak, A. (2021). Expanding functional protein sequence spaces using generative adversarial networks. Nature Machine Intelligence, 3(4), 324-333. https://doi.org/10.1038/s42256-021-00310-5
• [142]  Ferruz, N., Schmidt, S., & Höcker, B. (2022). ProtGPT2 is a deep unsupervised language model for protein design. Nature Communications, 13(1), 4348. https://doi.org/10.1038/s41467-022-32007-7
• [143]  Keskar, N. S., McCann, B., Varshney, L. R., Xiong, C., & Socher, R. (2019). Ctrl: A conditional transformer language model for controllable generation. arXiv. https://doi.org/10.48550/arXiv.1909.05858
• [144]  Madani, A., Krause, B., Greene, E. R., Subramanian, S., Mohr, B. P., Holton, J. M., Olmos, J. L., Xiong, C., Sun, Z. Z., Socher, R., Fraser, J. S., & Naik, N. (2023). Large language models generate functional protein sequences across diverse families. Nature Biotechnology, 1-8. https://doi.org/10.1038/s41587-022-01618-2
• [145]  Verkuil, R., Kabeli, O., Du, Y., Wicky, B. I. M., Milles, L. F., Dauparas, J., Baker, D., Ovchinnikov, S., Sercu, T., & Rives, A. (2022). Language models generalize beyond natural proteins. bioRxiv. https://doi.org/10.1101/2022.12.21.521521
• [146]  Kaplan, J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., Gray, S., Radford, A., Wu, J., & Amodei, D. (2020). Scaling laws for neural language models. arXiv. https://doi.org/10.48550/arXiv.2001.08361
• [147]  Steinegger, M., & Söding, J. (2018). Clustering huge protein sequence sets in linear time. Nature Communications, 9(1), 2542. https://doi.org/10.1038/s41467-018-04964-5
• [148]  Richardson, L., Allen, B., Baldi, G., Beracochea, M., Bileschi, M. L., Burdett, T., Burgin, J., Caballero-Pérez, J., Cochrane, G., Colwell, L. J., Curtis, T., Escobar-Zepeda, A., Gurbich, T. A., Kale, V., Korobeynikov, A., Raj, S., Rogers, A. B., Sakharova, E., Sanchez, S., … Finn, R. D. (2023). MGnify: The microbiome sequence data analysis resource in 2023. Nucleic Acids Research, 51(D1), D753-D759. https://doi.org/10.1093/nar/gkac1080
• [149]  Hesslow, D., Zanichelli, N., Notin, P., Poli, I., & Marks, D. (2022). Rita: A study on scaling up generative protein sequence models. arXiv. https://doi.org/10.48550/arXiv.2205.05789
• [150]  Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., Barham, P., Chung, H. W., Sutton, C., Gehrmann, S., Schuh, P., Shi, K., Tsvyashchenko, S., Maynez, J., Rao, A., Barnes, P., Tay, Y., Shazeer, N., Prabhakaran, V., … Fiedel, N. (2022). Palm: Scaling language modeling with pathways. arXiv. https://doi.org/10.48550/arXiv.2204.02311
• [151]  Wei, J., Tay, Y., Bommasani, R., Raffel, C., Zoph, B., Borgeaud, S., Yogatama, D., Bosma, M., Zhou, D., Metzler, D., Chi, E. H., Hashimoto, T., Vinyals, O., Liang, P., Dean, J., & Fedus, W. (2023). Emergent abilities of large language models. Transactions on Machine Learning Research. https://openreview.net/forum?id=yzkSU5zdwD
• [152]  Liu, S., Zhu, Y., Lu, J., Xu, Z., Nie, W., Gitter, A., Xiao, C., Tang, J., Guo, H., & Anandkumar, A. (2023). A text-guided protein design framework. arXiv. https://doi.org/10.48550/arXiv.2302.04611
• [153]  https://www.nvidia.com/en-us/gpu-cloud/bionemo/
• [154]  Burgin, J., Ahamed, A., Cummins, C., Devraj, R., Gueye, K., Gupta, D., Gupta, V., Haseeb, M., Ihsan, M., Ivanov, E., Jayathilaka, S., Balavenkataraman Kadhirvelu, V., Kumar, M., Lathi, A., Leinonen, R., Mansurova, M., McKinnon, J., O'Cathail, C., Paupério, J., … Cochrane, G. (2023). The european nucleotide archive in 2022. Nucleic Acids Research, 51(D1), D121-D125. https://doi.org/10.1093/nar/gkac1051
• [155]  Outeiral, C., & Deane, C. M. (2022). Codon language embeddings provide strong signals for protein engineering. bioRxiv. https://doi.org/10.1101/2022.12.15.519894
• [156]  Elnaggar, A., Essam, H., Salah-Eldin, W., Moustafa, W., Elkerdawy, M., Rochereau, C., & Rost, B. (2023). Ankh ☥: Optimized protein language model unlocks general-purpose modelling. bioRxiv. https://doi.org/10.1101/2023.01.16.524265

著者略歴

山口 秀輝 東京大学大学院新領域創成科学研究科メディカル情報生命専攻博士課程3年（執筆当時）。機械学習エンジニアとして企業勤務する傍ら、生物学と機械学習をかけ合わせた領域に関心を持ち、言語モデルに基づいた表現学習およびデータ効率の良いタンパク質配列設計技術の研究を進めている。二児の父。

齋藤 裕 産業技術総合研究所・主任研究員。機械学習やバイオインフォマティクスなどの情報科学的アプローチに基づき、大量データの解析から生命を理解すること、その知見を生体分子の設計や制御へ応用することに興味を持っている。最近では、実験ロボットを使ったバイオ実験の自動化にも興味を持っている。