タンパク質言語モデルの発展と応用

Abstract

自然言語処理分野で成功した大規模言語モデル（LLMs）の技術をタンパク質配列に適用したタンパク質言語モデル（pLMs）が、近年急速に発展している。従来のpLMsは主にスケーリング則に基づくモデルサイズの拡大による性能向上に依存していたが、配列情報から得られる知識の限界や、計算効率の問題、特定のタスク・ドメインへの適用が難しいといった実用化における障壁があった。本稿では、立体構造や進化情報を統合するマルチモーダル化、Mambaを始めとする計算効率に優れた新規アーキテクチャ、およびParameter-Efficient Fine-Tuning（PEFT）やドメイン特化モデルなどの最新のpLMs技術を取り上げて概説する。また、立体構造予測や変異効果予測などの個別の応用においてこれらの技術がどのように貢献しているかを紹介し、今後の創薬や治療薬開発への展望を議論する。

1　導入

タンパク質は主に20種類のアミノ酸が鎖状に連なった生命の基本単位となる分子である。その配列パターンはタンパク質の構造と機能を決定するため、生命を記述する一種の言語とみなすことができる。近年、自然言語処理（Natural Language Processing；NLP）の分野で革新的成功を収めた大規模言語モデル（Large Language Models；LLMs）の技術が、このタンパク質の言語に適用され、タンパク質言語モデル（Protein Language Models；pLMs）として急速に発展している［1, 2, 3］。

pLMsは、UniProt［4］などの大規模な配列データベースの数億件のタンパク質配列をマスク言語モデル［5］や次単語予測［6］などの方法で自己教師あり学習することで、アミノ酸の並びの背後にある進化の規則や、立体構造・機能に関する文脈を暗黙的に獲得する。2023年に本JSBi Bioinformatics Review誌で山口・齋藤が解説したように［7］、Transformerアーキテクチャ［6］に基づくpLMsは、配列解析や機能予測、構造予測、配列設計などの広範な領域で顕著な性能向上を実現した。しかし、図1からも分かるように、pLMsの研究開発は2023年以降も目まぐるしい速度で進展しており、同論文で言及された時点からさらに指数的に増加していることが分かる。

図１：タンパク質言語モデルに言及する論文の推移。

年ごとにprotein “language model”を検索クエリとしてGoogle Scholarにてヒットした論文数を示している（アクセス日：2025年12月31日）。

本稿では、最近のpLMsを取り巻く現状を概説する。まず、単一の配列情報だけでなく、進化情報や立体構造、機能注釈といった多様な情報を統合することでモデルの表現力を高めるマルチモーダル化の進展について述べる。次に、従来のTransformerやアテンション機構が抱える計算コストの課題を克服し、より長いコンテキストを効率的に扱えるMambaのような新しいアーキテクチャの登場について紹介する。続いて、Parameter-efficient Fine-tuning（PEFT）やドメイン特化型モデルなど、pLMsを実際の実験データや特定の生物学的課題に適応させるための実用化技術について解説する。最後に、これらの技術が立体構造予測や変異効果予測、タンパク質デザインといった具体的な応用においてどのように活用されているかを紹介する。なお、著者らは2025年にpLMsの治療応用に関する英語総説も発表しており［8］、紙面の都合で割愛したより網羅的な解説についてはこちらを参照されたい。

2　タンパク質言語モデルの基礎概念

pLMsの発展は、自然言語処理の技術革新と密接に関連している。初期のWord2Vecによる分散表現から、LSTM、そして現在主流のTransformerアーキテクチャまで、各段階でタンパク質の表現学習の精度と応用範囲が飛躍的に向上してきた。本節では、その発展の歴史と、現在の主流であるTransformerモデルの学習メカニズムについて概説する。

2.1　タンパク質言語モデルの変遷

タンパク質配列をNLPと同様に扱う初期のアプローチでは、まずWord2Vec［9］が重要な基盤技術となった。Word2Vecは、Skip-gramやCBOW（Continuous Bag-of-Words）などのアルゴリズムを使用して、周囲の単語との共起関係に基づいて単語を固定長の密なベクトルに変換する手法である。この技術を応用して2015年に登場したProtVec［10］は、アミノ酸の3文字の並び（3-mer）をベクトル化することで、配列の物理化学的な性質を捉えようとしたものであった。しかし、タンパク質の機能は立体構造に依存しており、その構造形成には配列上で遠く離れた残基が立体的に近接する長距離相互作用が深く関わっている［11, 12］。Word2Vecのような埋め込み手法はこうした文脈依存の意味や長距離相互作用を捉える能力が限定的であり、タンパク質の複雑な特徴を適切に表現できなかった。続いて、リカレントニューラルネットワーク（RNN）やその派生であるLSTM（Long Short-Term Memory）［13］を用いたモデルが登場した。RNNは、配列を時系列として扱い、前の情報を記憶しながら順番に処理する仕組みである。LSTMは、RNNの改良版で、入力ゲート、忘却ゲート、出力ゲートを備えたメモリセルにより、長い配列で重要な情報を選択的に保持・更新できた。LSTMで構築された代表的なpLMsであるUniRep［14］は、配列を先頭から順に読み込むことで、アミノ酸の順序や文脈をある程度考慮した表現を獲得することに成功した。しかし、LSTMでも依然として配列上で遠いアミノ酸同士の関係を捉える能力には限界があった。

現在のpLMsの隆盛を決定づけたのは、2017年にNLP分野で提案されたTransformerアーキテクチャ［6］の登場である。TransformerはSelf-Attentionと呼ばれる機構を用いることで、配列内の離れた位置にあるアミノ酸同士の関係性を直接捉えることができる。Self-Attentionは、配列の各位置が他のすべての位置に注意を向けることで、どのアミノ酸同士が重要かを自動的に学習する仕組みである。この特性は、タンパク質の立体構造形成に重要な残基間の接触や共進化の情報を学習するのに特に効果的だった。また、Transformerは優れた並列処理性能と計算効率を持つため、大規模データセットを用いた学習に適しているという利点もあった。

そして、これらのモデルの学習には、大量かつ多様なタンパク質配列からなる学習データが不可欠である。pLMsの学習には、UniProtデータベースから生成されるUniRef［15］や、メタゲノム解析由来のBFD［16, 17］、MGnify［18］といった大規模配列データベースが用いられる。数億から数十億件に及ぶ多様なタンパク質配列を学習することで、モデルは進化の過程で保存された普遍的な法則を獲得する。

2.2　アーキテクチャと自己教師あり学習

従来の機械学習では、入力と正解ラベルのペアからなる教師ありデータを用いて学習を行うのが一般的であった。例えば、タンパク質の機能予測では配列と機能ラベル、立体構造予測では配列と実験的に決定された構造データが挙げられる。しかし、このような高品質な教師ありデータの収集は時間とコストがかかり、大規模な学習には限界があった。

そこで注目されるのが自己教師あり学習である。この手法では、データ自体から学習タスクを自動生成することで、ラベル付けされていない大量のデータを活用できる。例えば、文章の一部を隠してそれを予測させる、あるいは次の単語を予測させるといったタスクを自動的に生成することで、正解ラベルを人手で用意することなく文章やタンパク質配列などの表現を学習できる。自然言語処理分野では、GPTやBERTなどの手法が成功を収めており、ChatGPTによる対話生成や機械翻訳の精度向上に寄与している［19］。タンパク質言語モデルの真価は、機能や構造の予測や配列設計のための事前知識を膨大な配列データから自己教師あり学習によって獲得できることにある。Transformerモデルは、この事前学習アプローチやアーキテクチャに基づいて異なるタイプに分類でき、大きくエンコーダ、デコーダ、エンコーダ・デコーダに分けられる（図2）。

図２：pLMsにおける代表的な自己教師あり学習の目的関数

（a）マスク言語モデルでは文章の穴埋め問題のように周囲の文脈からその隠されたアミノ酸を予測する。（b）次トークン予測では、過去の配列のみに基づき、次に続くアミノ酸を自己回帰的に予測する。（c）Span Corruptionでは、エンコーダ・デコーダを用い、特殊な識別子で置き換えられた複数の連続したアミノ酸（スパン）を復元する。

エンコーダモデルはタンパク質配列の表現学習に優れ、具体的な予測タスク、すなわち下流タスクへの転移学習に適している［20］。エンコーダでは、マスク言語モデリング（Masked Language Modeling；MLM）という事前学習法によって配列表現を学習する。MLMでは、図2（a）のように、入力配列の一部をランダムに隠し、文章の穴埋め問題のように周囲の文脈からその隠されたアミノ酸を予測する。BERT［5］に代表されるこの形式は、配列全体の文脈を深く理解することに長けており、アミノ酸の機能予測や変異効果の予測に有用である。特にESM-2［21］は、最大150億パラメータを持つ巨大モデルであり、タンパク質配列のみから原子レベルの立体構造予測を可能にしたことで、この分野のデファクトスタンダードとしての地位を確立した。

デコーダモデルは、図2（b）のように与えられた配列から次のアミノ酸であるトークンを予測する次トークン予測（Next Token Prediction）によって配列表現を学習する。なお、デコーダモデルは自己回帰モデルや因果言語モデル（Causal Language Model；CLM）とも呼ばれ、各トークンの出力が過去のトークンにのみ依存するという特性を持ち、将来のトークンを参照できないようにマスクが適用される。ChatGPTでも馴染みの深いGPTシリーズ［19, 22, 23］がこれに該当し、新たな配列を生成することに優れている。pLMsにおいては、ProGenシリーズ［24, 25, 26］がこの形式を採用し、タンパク質のDe novo設計に応用されている。

エンコーダ・デコーダモデルは、入力配列をエンコーダで内部表現に変換し、デコーダで目的の出力形式に変換するアーキテクチャであり、T5（Text-to-Text Transfer Transformer）［27］フレームワークが標準的に用いられる。T5は、入力の一部をマスクしそれを復元させるSpan Corruptionと呼ばれる事前学習手法を採用しており、これにより文脈の理解と系列生成の能力を同時に獲得する。図2（c）のように、エンコーダにはランダムな領域が<1>や<2>のような特殊なトークンによって置換された配列が入力され、デコーダは各トークンに対応する配列を順番に復元するように学習する。タンパク質言語モデルにおいては、この手法を適用したProtT5［28］が代表的である。ProtT5のエンコーダが出力する分散表現は、転移学習においても活用されている［29］。

このように、従来のpLMsは主にタンパク質配列のみを入力として扱う配列ベースのモデルが主流であったが、単一の配列から得られる生物学的情報は限定的であった。そこで、近年では次節で述べるpLMsにタンパク質配列以外の情報源を活用するマルチモーダル化技術が注目されている。

3　マルチモーダル化

タンパク質は単なるアミノ酸の羅列ではなく、立体構造や進化的な文脈と不可分な存在である。そのため、立体構造や機能情報、相同配列から得られる進化情報を統合的に扱うことは、その性質を多角的に理解するのに極めて重要である。例えば、ESM3［30］は構造情報やGene Ontology（GO）などのソースから学習することで、配列、構造、二次構造、溶媒接触可能表面積、機能キーワード、残基注釈を含むマルチトラック入出力を可能にしたマルチモーダルなpLMsである。ESM3はこれらの多様なデータソースから学習することで高い表現力を持ち、単一配列構造予測と配列生成で従来手法を大幅に上回っている。本章では、ホモロジー情報、構造情報、機能注釈など多岐にわたる生物学的情報を統合するマルチモーダル化技術を概観する。

3.1　ホモロジー情報の統合

タンパク質の機能や構造を理解する上で、進化的に関連する配列を対応する位置ごとに整列させた配列集合である多重配列アラインメント（MSA）は極めて重要な情報源である。MSAに含まれる共進化情報は、構造上で物理的に近接している残基ペアが進化の過程で相関して変異する傾向を捉えており、これがコンタクトマップ予測や構造予測の強力な根拠となる。実際、2024年にノーベル化学賞を受賞したAlphaFold2が実験手法に迫る立体構造予測を実現できた要因の一つは、MSAを入力としてアミノ酸残基間の共進化パターンを抽出し、残基間の相互作用に関する知識を最大限に活用した点にある［16］。

pLMsの文脈においてMSAを直接扱った先駆的なモデルとしてMSA Transformer［31］が存在するが、MSAの作成には計算コストがかかるという問題があった。こうした中、MSA構築という計算コストの高い前処理を省略しつつ進化情報を取り込むアプローチとして、近年ではアラインメントフリーの手法が注目されている。PoET［32］やProtMamba［33］、Prot-xLSTM［34］といったモデルは、MSAを作成せずに大量のホモログ配列をそのまま連結して入力することで、モデル内部で暗黙的にアラインメントや進化的な関係性を学習する。これらの学習を支えているのがOpenProteinSet［35］のような大規模データセットであり、1,600万以上のMSAやAlphaFold2による予測構造を提供することで、進化情報を直接扱うモデルの基盤となっている。なお、アラインメントフリーの手法においてMSAを作成せずにホモログ配列を連結して入力する場合には、数万から数十万トークンに及ぶ超長コンテキストを扱う必要が生じる。したがって、従来のTransformerよりも計算効率に優れたアーキテクチャとの親和性が高い。これらを実現する次世代のアーキテクチャについては次章で詳述する。

3.2　構造情報の統合

タンパク質の機能は一次配列だけでなく三次元構造にも強く依存するため、構造データを活用することはpLMsの潜在表現学習を豊かにする上で不可欠である。しかし、連続値である三次元座標を、離散的なトークン列を扱う言語モデルに直接統合することは困難であるため、アミノ酸と同様に構造情報を構造トークンとして離散化して扱う手法が注目されている。このアプローチの代表例がFoldseek［36］により生成される構造トークンの活用である。Foldseekは、各残基とその空間的近傍残基との相互作用パターンを記述する3Diアルファベットと呼ばれる離散トークンに変換する。SaProt［37］やProstT5［38］は、このFoldseek由来の構造トークンを配列情報と組み合わせてエンコードすることで、従来の単一配列ベースのpLMsを上回る機能予測性能を達成した。しかし、Foldseekは各残基に対して最も近い1つの残基との関係のみをトークン化するため、周囲の複数の残基を含むより広域な局所的空間の表現としては不十分である。そこでLiら［39］は、GVP（Geometric Vector Perceptron）［40］を用いて空間的な近傍残基を含む局所構造をエンコードし、k-means法により量子化することで独自の構造トークンを生成するProSSTと呼ばれるpLMsを提案した。ProSSTは追加の教師データなし（ゼロショット）の変異効果予測と教師あり下流タスクの双方において、既存の手法を凌駕する性能を示した。

構造トークン以外にも、事前学習の目的関数として構造情報を取り込むアプローチがある。二次構造やコンタクトマップの予測による強化［41］や、訓練中に構造トークンを予測することで知識蒸留する手法［42］、配列表現と構造表現の対照学習［43］などが提案されている。

これらの構造ベースpLMsの進展を支えているのが、学習データの劇的な拡大である。従来はProtein Data Bank（PDB）［44］の実験的に解かれた立体構造データが主な情報源であった。しかし、TrEMBLの約2億件［45］やMGnify Proteins［18］の約7億件といった配列データベースの規模に対して、PDBの立体構造情報は2026年1月時点で約24万件と圧倒的に不足していた。そこでSaProtやProSSTでは、AlphaFoldDB（AlphaFold Protein Structure Database）［46］からフィルタリングされた数千万件の予測構造を学習に利用し、構造データの不足を解消している。さらにESM3［30］などの最新モデルでは、約7.7億件のメタゲノム予測構造を含むESM-Atlas［21］も活用されており、配列データに匹敵する規模の構造情報が利用可能である。

3.3　機能知識の統合

タンパク質の機能理解には、配列情報だけでなく機能注釈や文献情報といった外部知識と密接に関わっている。近年のpLMsでは、これらの明示的な知識をモデルに統合し、少データでの性能向上や解釈性向上を目指すアプローチが主流となっている。

例えば、生化学的な実体であるタンパク質や機能、疾患などの関係性をグラフ構造として定義し、その情報を言語モデルに注入する知識グラフに基づく方法がある［47］。また、タンパク質配列とGO用語やテキスト記述を同時に学習することで、配列と機能の意味的対応関係を獲得する手法［48］も提案されている。ProGen［49］では、外部知識を識別タスクに用いるだけでなく、タンパク質生成における制御コードとしても利用している。

また、タンパク質配列と自然言語テキストで書かれた機能知識を統合するアプローチも進んでいる。たとえば、CLIPによって配列とテキスト情報を同一潜在空間に射影する手法が提案されている［50, 51］。ProtST［50］は、タンパク質言語モデルとPubMedBERT［52］の対照学習により、機能ラベルを持たないタンパク質に対しても、文献知識に基づく高精度なゼロショット分類や、テキストクエリによる類似タンパク質の検索を実現した。また、画像生成におけるText-to-Imageの概念に着想を得た、自然言語から新たなタンパク質配列を生成するテキスト条件付き生成も提案されている［53］。ProteinDT［53］は、特定の酵素活性や特定の標的に結合するといった自然言語のプロンプトを入力することで、その要件を満たす新規配列を設計する。これらの自然言語ベースの手法は学習データのバイアスによって誤った配列を出力をするリスクがあるため概念実証段階だが、マルチモーダルAIとの統合可能性を示している。

4　新規アーキテクチャの登場

これまでのpLMsに関する研究は、Transformerモデルのパラメータ数を増やすことで性能を向上させるスケーリング則の検証が主軸であった。しかし、モデルの巨大化や長い配列の処理において、Transformer固有の計算コストの問題が顕在化している。本節では、これらの課題を克服するための試みや、Transformerを代替、あるいは補完しうる最新のアーキテクチャについて解説する。

4.1　Transformerの限界と計算効率化の試み

Transformerの核心であるアテンションは、配列内の任意のアミノ酸ペア間の関係性を捉える強力な手法である。しかし、この計算には配列長Lに対してO（L²）の計算量とメモリが必要となる欠点がある。そのため、複数の相同配列を連結した入力、あるいはゲノム規模の長いDNA配列を扱う場合、計算コストは爆発的に増加し、現実的な時間での処理が困難となる。

この計算量が配列長に対して線形になるよう、以前から新しいアーキテクチャが検討されてきた。例えば、畳み込みニューラルネットワーク（CNN）を取り入れたアプローチ［48, 54, 55］や、アテンション自体の計算量を削減するアプローチ［56, 57］などが挙げられる。こうした背景の中で、近年ではMambaと呼ばれる新しいアーキテクチャへの移行がpLMs分野でも進んでいる。

4.2　状態空間モデルとMambaの台頭

Transformerに代わる次世代のアーキテクチャとして注目されているのが、Mamba［58］に代表される状態空間モデル（State Space Models；SSMs）である（図3）。SSMの基礎は制御工学にあり、連続的な時間発展を記述する以下の微分方程式によって定義される。

  

$$h^{´}(t)=Ah(t)+BX(t),y(t)=Ch(t)$$

図３：Mambaの概念図

ここで、h（t）は隠れ状態、x（t）は入力、y（t）は出力を表し、A, B, Cはシステムの特性を決める行列である。深層学習など計算機での扱いのために、この連続モデルを時間刻み幅Δを用いてZero-Order Hold法などによって以下の差分方程式のように離散化する。

  

$$h_t={\overline{A}h}_{t-1}+{\overline{B}X}_t,y_t=C{h}_t$$

ここで、$\overline{A},\overline{B}$は離散化された行列であり、元の連続パラメータA, Bと刻み幅Δから例えば$\overline{A}=\exp (\Delta A)$のようにして計算される。この形式により、推論時には過去の履歴を固定長の隠れ状態h_tに保持できるため、メモリ消費量を系列長に依存せず一定に抑えられる利点がある。

S4（Structured State Space Sequence model）［59］などの従来のSSMは、並列計算による効率化のためにこれらの行列を定数として扱っていたが、文脈に応じて重要な情報を強調したり不要な情報を捨てたりする柔軟性に欠けていた。

これに対しMambaの画期的な点は、選択的メカニズム（selective mechanism）を持つSelective SSMと呼ばれるブロックを導入したことである。Selective SSMでは、従来のSSMで定数だった行列B、Cと刻み幅Δを、入力x_tに依存して動的に変化させる。特にΔの動的制御は、前述の状態遷移行列の離散化$\overline{A}=\exp (\Delta A)$を通じて、トークンごとに過去の状態h_t－1をどれだけ保持し、現在の入力x_tをどれだけ取り込むかを調整する役割を果たす。これはLSTMのゲート機構に類似した選択的な記憶・忘却メカニズムと同様の役割を果たしているが、LSTMよりも並列計算性や長期記憶に優れる。

この選択的メカニズムによって、MambaはTransformerに匹敵する高度な文脈理解能力を獲得できる。なお、この変更によって従来のSSMで用いられた高速な畳み込み演算は適用できなくなるが、Mambaではハードウェアに最適化されたparallel scanアルゴリズムを用いることで学習時の高速性を維持している。この結果、Mambaでは配列長Lに対して線形の計算量O（L）での演算が可能である。

こうした計算効率上の利点を活かし、このMambaアーキテクチャを採用したpLMsがいくつか提案されている［33, 60, 61］。例えばProtMamba［33］は、Mambaアーキテクチャに基づくアラインメントフリーモデルである。ProtMambaは、同じアラインメントフリー手法であるPoET［32］と同程度の性能を示しつつ、変異効果予測ではProteinGymベンチマーク［62］の全変異をスコアする推論にPoETが約10時間を要するのに対し約7-10分で完了するなど、計算効率でPoETを上回る。また、LC-PLM-G［60］では、Mambaアーキテクチャを活用してタンパク質間相互作用（PPI）予測を効率化している。具体的には、PPIネットワーク上のランダムウォークで得られる複数タンパク質をまたぐパスを直接Mambaに入力することで、生物学的相互作用の学習を実現した。さらにPTM-Mamba［61］は、ESM-2に対して翻訳後修飾を扱う追加の機能として双方向Mambaを採用し、翻訳後修飾がPPIに与える影響の予測や疾患特定において既存のpLMsを上回る性能を示している。

ただし、pLMsにおいてMambaがTransformerより優れるかどうかはタスクの特性や状況によって異なる。Wangら［60］は、単一配列を扱うMambaモデルLC-PLMが構造予測など残基間のマクロな依存関係の理解を要するタスクでESM-2を上回り、100Bトークン程度の中規模の学習におけるサンプル効率もTransformerより高いと報告している。一方、変異効果予測のように残基レベルのミクロな文脈解釈が重要なタスクでは、Transformerベースモデルが依然として有利であるという結果も示されている。また、Nguyenら［55］によれば、Mambaは大規模な学習において不安定になる傾向があるとも報告されており、さらなるスケーリングの可能性については今後の研究課題となっている。

4.3　ハイブリッドアーキテクチャとその他の動向

SSMは計算効率に優れる一方で、Transformerの持つアテンションの強力な関係性抽出能力も依然として重要である。そのため、Transformerの表現力とSSMやCNNの効率性を組み合わせたハイブリッドモデルの開発も進んでいる。例えば、系統樹推定のために開発されたPHYLA［63］では、配列間の関係把握には長いコンテキストに強い双方向Mambaを、配列内の詳細な関係把握にはアテンションを用いるハイブリッドなアプローチを採用することで、効率と精度を両立した。また、ゲノム基盤モデルであるEvo［55］やEvo2［64］では、Hyena［65］と呼ばれる畳み込みベースの層と少数のアテンション層を交互に配置するアーキテクチャを採用している。これは、ゲノムはタンパク質よりもはるかに長い配列データを頻繁に扱う必要があるためであり、ハイブリッドアプローチにより効率と精度を両立することを目指している。

さらに、SSM以外の系列モデリングの試みとして、xLSTM（Extended LSTM）［66］も提案されている。xLSTMは、大規模言語モデルの時代に適応した従来のLSTMの拡張版であり、指数ゲーティングとsLSTMおよびmLSTMと呼ばれる2つの新しいメモリ構造により線形時間での配列処理を達成した。これによりLSTMの課題であった長い文脈の処理能力と状態追跡能力が改善されている。タンパク質分野では、アラインメントフリーなタンパク質生成モデルとしてProt-xLSTM［34］が提案されている。xLSTMはMambaと比較して新しく開発基盤が成熟していないため、現時点ではMambaの方が主流であるが今後の発展が注目される。

5　pLMsの実用化を支える技術

本章では、pLMsの実用化を支える技術について解説する。まず、そのままでは下流タスクに適用しにくいpLMsを興味のあるタスクやドメインに適用させるためのアプローチとして、Parameter-Efficient Fine-Tuningとドメイン特化型モデルについて述べる。続いて、モデルの解釈可能性と内部表現、そして学習効率とスケーリング則の再考についても触れる。

5.1　Parameter-Efficient Fine-Tuning

pLMsの実応用におけるpLMsの最大の課題の一つは、学習データの量と質のアンバランスである。事前学習には数億件の配列データを利用できるが、特定の標的への結合親和性や酵素活性といったラベル付きデータは、実験的なコストと時間の制約により数十から数百件しか得られないこともしばしばある。従来は大規模なモデルを、このような少量のデータで微調整（ファインチューニング）しようとすると、過学習のリスクが高まるだけでなく、計算コストも莫大になるという課題があった。この問題を解決する技術として、近年急速に普及しているのがParameter-Efficient Fine-Tuning（PEFT）である。PEFTは、事前学習モデルの大部分のパラメータを固定し、少数のパラメータのみを追加で学習するアプローチである。PEFTを用いることで、全パラメータを更新する場合と比べて計算コストを大幅に削減することができる。

PEFTの代表的な手法であるLoRA（Low-Rank Adaptation）［67］は、大規模な事前学習済みモデルの重みパラメータW₀を固定し、その差分ΔWを低ランク行列BおよびAの積として近似する手法である（図4）。数式で表現すると、学習後の重みWは以下のようになる。

  

$$W=W_0+\mathrm{\Delta }W=W_0+BA$$

図４：LoRAの概要図

ここで、 $W_0\in {\mathrm{ℝ}}^{d\times k}$に対し、$B\in {\mathrm{ℝ}}^{d\times r}$、$A\in {\mathrm{ℝ}}^{r\times k}$であり、ランクrは元の次元d, kよりも非常に小さい値に設定される。これにより、学習すべきパラメータ数を大幅に削減しつつ、モデルの表現力を維持することが可能となる。

PEFTの真価は計算コストの削減だけでなく、極めて少量のデータに対する適応能力の高さにある。例えばZhouら［68］は、PEFT［67, 69, 70］にメタ転移学習［71］などを組み合わせた訓練戦略Pro-FSFPを提案し、わずか数十件のラベル付き変異体データでpLMsの予測性能を大幅に改善できることを実証した。同様のアプローチは抗体設計の現場でも有用であり、著者らの研究グループでも、CDR-H3最適化において限られた実験データを効率的に活用するため、pLMsとLoRAを組み合わせた多目的能動学習アプローチを提案している［72］。また、Schmirlerら［73］による調査では、pLMsの微調整においてLoRAは複数のPEFT手法の中で性能と計算効率のバランスに優れていることが示されている。さらに、SI-Tuning［74］では、LoRAを通じて埋め込み層やアテンション層にタンパク質の構造情報を注入することで構造認識型のpLMsを構築し下流タスクの性能を向上させている。同様にProLLaMA［75］では、汎用LLMのパラメータを固定しつつLoRAアダプタのみを学習させることで、自然言語の能力を維持したままタンパク質言語の処理能力を効率的に獲得させることに成功している。

近年では手法自体の拡張も進んでおり、Gorantlaら［76］はタンパク質-リガンド結合親和性予測において、LoKRやLoHAといったLoRAの発展型の手法［77］が従来のLoRAよりも高い精度を示したと報告している。これは、十分なデータ量が利用可能な場合には、より表現力の高いPEFT手法が有効である可能性を示唆している。加えて、Sawhneyら［78］がLoRAを用いて汎用的なESM-2をウイルスタンパク質用に微調整し解析精度を改善させたように、PEFTは次節で述べるドメイン特化型モデルの構築においても強力なツールとなる。

5.2　ドメイン特化型モデル

ESM-2などの汎用的なpLMsは、広範なタンパク質ファミリーの表現を学習しているが、特定の生物学的ドメインにおいては必ずしも最適ではない場合がある。特に、抗体やT細胞受容体（TCR）のような免疫系タンパク質は、V（D）J組換えによる特殊な進化プロセスを経るため、相補性決定領域（CDR）のように極めて多様性の高い領域が存在するため、これらに特化したモデルが開発されている。

抗体分野では、大規模な抗体配列で構築されたOAS（Observed Antibody Space）データベース［79］でpLMsを事前学習する抗体言語モデルがいくつか提案されており、例えば、AntiBERTa［80］やAbLang［81, 82］といったエンコーダモデルや、IgLM［83］などのデコーダモデルが挙げられる。ただし、OASのデータベースに含まれる抗体配列は生殖細胞系列（germline）と呼ばれる体細胞超変異を経ていない配列に偏っており、特異性や親和性に重要な非生殖細胞系列の変異パターンの学習が進まないという課題がある。そこで、AbLang2［82］では、このgermlineのバイアスに対処するため、Focal Lossを導入して変異パターンの学習を強化している。また、p-IgGen［84］のようにOASの重鎖と軽鎖のペア情報を用いて重鎖から軽鎖、軽鎖から重鎖を生成するツールや、抗原-抗体ペア情報を用いて学習された疾患特異的な配列設計pLMs手法も提案されている［85］。AbBERT［86］はProtBERT［28］をOASのヒト抗体配列で微調整することで、ヒト抗体様の評価に活用している［87］。

ただし、OASデータベースには、生物種がヒトに集中している、ヒト抗体配列の70％以上がわずか13人のドナーに由来するといったバイアスが存在していたり、OASで学習されたモデルは学習データに含まれていない新しいドナーに対する汎化能力を示さない［88］といった課題が存在する。また、これらの抗体言語モデルが出力する対数尤度は抗体の結合活性や熱安定性と相関するという報告［89, 90］がある一方で、凝集性や薬物動態の予測精度に関しては物理化学ベースの従来手法に及ばないという指摘［90］もあり、実用的な創薬プロセスへの統合には課題も残されている。また、抗体構造予測では抗体言語モデルを使用したいくつかの構造手法が提案されている［91, 92, 93］ものの、抗原認識に最も重要なCDR H3ループの予測は依然として難しい課題である［93］。

同様に、TCRは細胞表面に提示された抗原（ペプチド-MHC複合体）を認識し免疫応答を始動させる分子だが、このTCR配列のみの事前学習モデル［94, 95］から、TCR-エピトープ相互作用を明示的にモデル化するもの［96, 97］まで多様なアプローチが提案されている。これらはがん免疫療法におけるTCR設計やネオアンチゲン予測において重要であるが、ネガティブデータの不足やペア・構造情報の欠如といった課題も残されている。

5.3　モデルの解釈可能性と内部表現

pLMsの高い性能をブラックボックスとして利用するだけでなく、モデルが何を学習しているかを理解するための解釈可能性の研究も進展している。モデルの解釈性を高めることは、予測メカニズムや表現と構造・機能との対応を明らかにすることで変異効果予測やタンパク質設計等の下流タスクでの説明可能性を高めたり［98］、生物学的妥当性や適用範囲を検証するのに役立ったりする［99, 100］。古くはAttention行列がコンタクトマップを再現できることが知られていたが［100］、最近ではZhangら［99］によって、モデルへの入力を摂動させることで、より明瞭にコンタクトマップを抽出できることが示された。他にも、アテンションの解析から、モデルが詳細な構造を構築する前に、中間層において機能やファミリーに関連する特徴を早期に捉えていることも明らかになりつつある［101］。また、スパースオートエンコーダーを用いてpLMsの内部表現を分解し、生物学的に解釈可能な特徴を抽出する試みも行われている［98］。この研究では、抽出されたスパース特徴に対しClaudeのような大規模言語モデル［102］を用いて機能的な説明を与えることで、ブラックボックスであった内部表現の可視化を試みている。

5.4　学習効率とスケーリング則の再考

また、これまでpLMsの性能向上はモデル規模の拡大に依存してきたが、計算資源の制約や実用性の観点から学習効率とスケーリング則の再考も進んでいる。例えば、Ankh［103］やAMPLIFY［104］といったモデルは、マスキング戦略や位置エンコーディング、学習データを最適化することで、ESM-2などの巨大モデルと比較して大幅に少ないパラメータ数で同等以上の性能を達成し、推論速度を数百から数千倍に加速させた。

また、Liら［105］による調査は、PEFT手法を扱っていないものの、モデルサイズの増大や追加の事前学習が必ずしも下流タスクの性能向上に直結しないことを示している。彼らは、構造予測を除く多くのタスクが、事前学習の初期段階で獲得される低レベルの特徴に強く依存していることを発見した。さらにChengら［106］は、エンコーダベースのpLMsではモデルサイズの拡大を優先すべきである一方、デコーダベースのpLMsではサイズとデータ量を等しく増加させるべきであるという、アーキテクチャごとの異なるスケーリング戦略を提唱している。加えて、Vieiraら［107］の実用的な転移学習に関する研究では、学習データが限定されている場合、大規模モデルが中規模モデルを必ずしも上回らないことが示されている。これらの知見は、計算資源が限られる実際の臨床応用や治療薬開発において、タスクの特性に応じて最適なモデルサイズと学習戦略を選択するための重要な指針となる。

6　pLMsの応用

本章では、pLMs応用における最新の動向を概観する。pLMsの応用は多岐にわたるため、本章では立体構造予測、変異効果予測、配列生成に限定して説明する。より網羅的なpLMs応用に関する話題に興味のある読者は［8］を参照されたい。

6.1　立体構造予測

AlphaFold2［16］の登場以降、タンパク質立体構造予測は革命的な進歩を遂げた［108］が、MSAの作成コストが計算のボトルネックとなっていた。これに対し、ESMFold［21］やOmegaFold［109］は、pLMsの学習済み表現を用いることで、MSAなしに単一配列から高速かつ高精度な構造予測を実現した。これらの手法は、AlphaFold2やAlphaFold3［110］などのMSAを用いる手法に比べて全般的な予測精度は劣るものの、MSA類縁配列の少ないオーファンタンパク質や、人工設計タンパク質の予測でMSAベースの手法を上回ることが報告されている。さらに最近では、ESM3［30］やxTrimoPGLMを使用した構造予測モデルであるxT-Fold［111］などの最近のモデルは、ESMFoldなどの既存手法を大幅に上回っている。特にESM3はより小さなモデルでもESMFoldより高品質な構造を生成できると報告されており［30］、マルチモーダル表現が構造予測にとって重要であることを示唆している。他にも、AlphaFold3-likeな拡散モデルベースの立体構造予測手法であるChai-1［112］では、pLMsを構成要素として組み込むことでMSAの有無を切り替えることができる。Chai-1は、MSAの有無によらず高精度な予測を実現しており、特に抗体構造予測で高い性能を示している。一方、MSAGPT［113］やMSA-Generator［114］では、少数の相同配列から仮想のMSAを生成し、これをAlphaFold2の入力に追加することで、進化情報が乏しいタンパク質における構造予測の精度を向上させることに成功している。

6.2　変異効果の予測

ヒト疾患に関連する遺伝子変異の病原性を定量化することは、臨床的な意思決定において極めて重要である［115, 116］。pLMsは事前学習を通じてタンパク質の進化的な制約を暗黙的に学習しているため、ゼロショットで変異効果を予測することが可能である。この分野の代表的なモデルであるESM-1v［117］は、Liveseyら［118］による評価において、病原性変異体や良性変異体の識別で極めて高い性能を実証している。

従来、MSAに基づく変異効果予測手法は、進化情報を明示的に活用できるため高精度を達成してきた［119］。最近では、AlphaFold2のアーキテクチャを応用したAlphaMissense［120］が、構造情報とMSAから得られる共進化情報を統合することで最先端の性能を示している。しかし、これらの手法はMSAの構築に膨大な計算コストが必要であるという課題を抱えている。これに対し、Marquetら［29, 121］は、ProtT5［28］やESM-2［21］の埋め込み表現を入力とすることで、MSAを必要とせずに迅速かつ正確な変異効果予測を実現するモデルを提案している。さらに最近のVenus-MAXWELL［122］はpLMsを微調整することで、野生型配列から得られる確率分布から変異効果を直接計算する手法を提案した。これにより、変異ごとの複数回の推論を回避することで推論速度の課題を克服している。

また、より複雑な変異に対応するモデルとしてPoET-2［123］が提案されている。PoET-2は、配列生成を行う因果デコーダーと潜在表現を学習する双方向デコーダーを組み合わせたデュアルデコーダーアーキテクチャを採用しており、構造トークンや相対的な距離情報をアテンションへのバイアスとしてモデルに取り込むことで配列表現を強化しているのが特徴である。PoET-2は単純な置換だけでなく、挿入・欠失（Indels）や同時変異といった予測難易度の高い変異に対しても、コンパクトなモデルサイズながら高い精度を達成した。

また、Houら［124］が開発したESMDanceは、分子動力学シミュレーションから得られたRMSFやSASAなどのダイナミクス情報をpLMsの教師データとして取り込んだモデルである。ダイナミクス情報を用いることで、相同情報が乏しいde novoタンパク質や天然変性領域など、従来の進化情報依存型pLMsが苦手とするドメインでの変異効果予測性能を向上させた。

そして、これらの変異効果予測モデルの進展を支えているのが、包括的なベンチマークセットであるProteinGym［62］である。ProteinGymは87のDeep Mutational Scanning（DMS）アッセイから収集された約150万の変異データを含んでおり、ゼロショットおよび教師ありモデルの体系的な性能比較を可能にしている。

6.3　タンパク質デザインと生成モデル

新規タンパク質のde novo設計は、pLMsの生成能力が最も期待される領域の一つである。特筆すべき成果として、ESM3［30］によるマルチモーダル生成が挙げられる。ESM3は配列、構造、機能という異なるモダリティを共通のトークンとして扱い、これらを反復的に最適化するChain of Thoughtアプローチを採用している。この手法により、既知の緑色蛍光タンパク質との配列同一性が58％に過ぎないにもかかわらず、同等の蛍光強度を持つ新規タンパク質esmGFPの生成に成功しており、自然界の進化空間を超えた探索能力を示した。

また、制御可能な生成を目指したProGenシリーズ［25, 26, 49］の進展も目覚ましい。初期のProGenはCTRL（Conditional Transformer Language Model）［24］を採用し、機能や細胞内局在などの制御タグに基づく配列生成を実現していたが、最新のProGen3［26］ではこれをさらに発展させている。ProGen3は最大460億パラメータまでスケールアップされており、入力データに応じて最適なサブネットワークを選択するスパースMoE（Mixture of Experts）［125］を導入することで、計算効率と表現力を両立させた。その結果、既知の配列との類似度が30％未満という新規配列空間においても、機能するタンパク質を生成できることが実証されている。

ほかにも、Wenら［126］は、大規模言語モデルの微調整手法であるDPO（Direct Preference Optimization）［127］を応用し、Rosettaのエネルギー関数を報酬としてモデルに学習させる手法を提案した。これにより、言語モデルが生成する配列の自然さを保ちつつ、タンパク質構造としてのエネルギー的安定性も満たすような、抗体配列の設計を可能にした。

7　おわりに

本稿では、タンパク質言語モデルの近年の進展について概説した。Transformerに基づく基礎的なモデルから始まり、ホモロジー情報や立体構造、知識グラフなどを統合するマルチモーダルモデルへの進化、そしてMambaをはじめとする計算効率に優れた次世代アーキテクチャの台頭について紹介した。また、実験データの不足を補うPEFTやドメイン特化型モデルといった実用化を支える技術に加え、立体構造予測やタンパク質デザインにおける最新の応用事例についても触れた。

このように、スケーリング則に基づくモデルの大規模化が一段落しつつある現在、研究の焦点は、多様な情報源の統合や、計算コストと精度のバランスの両立、特定のタスクやドメインに対する適応能力向上などに移りつつある。汎用pLMsを微調整によってドメイン特化させることはPEFT技術によりさらに重要性が増すと考えられる。また、ESMDance［124］のダイナミクス情報の統合のように、マルチモーダル情報源の多様化は本稿で紹介した以上に進むと考えられる。一方で、ESM3のようなマルチモーダルモデルの性能は高いものの、その複雑さのため汎用モデルとして扱いにくいため、転移学習の容易さという観点も今後より重要になるであろう。また、MambaとPEFTのように新しい技術同士に親和性があるかどうかも、今後十分に検証する必要がある。他にも、学習データに含まれるバイアスの影響や、生成モデル特有の幻覚のリスク、そしてモデル内部のブラックボックス性など、解決すべき課題も残されている。

これらの課題を解決し、実際の疾患治療や医薬品開発に対する応用技術としてpLMsを成熟させるためには、生物学的な妥当性を担保するためのドメイン知識の導入や、実験データの効率的な統合、アーキテクチャや学習方法の改善といった積み重ねが不可欠である。

References

• [1]  Bepler T, Berger B. Learning the protein language: Evolution, structure, and function. Cell Syst. 2021;12(6):654-669.e3. doi:10.1016/j.cels.2021.05.017.
• [2]  Ofer D, Brandes N, Linial M. The language of proteins: NLP, machine learning & protein sequences. Comput. Struct. Biotechnol. J. 2021;19:1750-1758. doi:10.1016/j.csbj.2021.03.022.
• [3]  Xiao Y, Zhao W, Zhang J, Jin Y, Zhang H, Ren Z, Sun R, Wang H, Wan G, Lu P, et al. Protein large language models: A comprehensive survey. In: Findings of the Association for Computational Linguistics: EMNLP 2025. 2025. pp. 23080-23103. doi:10.18653/v1/2025.findings-emnlp.1255.
• [4]  Bairoch A, Apweiler R, Wu CH, Barker WC, Boeckmann B, Ferro S, Gasteiger E, Huang H, Lopez R, Magrane M, et al. The Universal Protein Resource (UniProt). Nucleic Acids Res. 2005;33(Database issue):D154-9. doi:10.1093/nar/gki070.
• [5]  Devlin J, Chang M-W, Lee K, Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In: Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics. 2019. pp. 4171-4186. doi:10.18653/v1/n19-1423.
• [6]  Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez AN, Kaiser Ł, Polosukhin I. Attention is all you need. Adv. Neural Inf. Process. Syst. 2017.
• [7]  山口秀輝，齋藤裕．タンパク質の言語モデル．JSBi Bioinformatics Review. 2023;4(1):52-67. doi:10.11234/jsbibr.2023.1.
• [8]  Furui K, Sakano K, Ohue M. Predictive and therapeutic applications of protein language models. Allergol. Int. 2025;74(4):534-548. doi:10.1016/j.alit.2025.08.004.
• [9]  Mikolov T, Chen K, Corrado G, Dean J. Efficient estimation of word representations in vector space. arXiv[cs.CL]. 2013. doi:10.48550/arXiv.1301.3781.
• [10]  Asgari E, Mofrad MRK. Continuous distributed representation of biological sequences for deep proteomics and genomics. PLoS One. 2015;10(11):e0141287. doi:10.1371/journal.pone.0141287.
• [11]  Rives A, Meier J, Sercu T, Goyal S, Lin Z, Liu J, Guo D, Ott M, Zitnick CL, Ma J, et al. Biological structure and function emerge from scaling unsupervised learning to 250 million protein sequences. Proc. Natl. Acad. Sci. U. S. A. 2021;118(15):e2016239118.
• [12]  Rao R, Meier J, Sercu T, Ovchinnikov S, Rives A. Transformer protein language models are unsupervised structure learners. In: International Conference on Learning Representations. 2020.
• [13]  Hochreiter S, Schmidhuber J. Long short-term memory. Neural Comput. 1997;9(8):1735-1780. doi:10.1162/neco.1997.9.8.1735.
• [14]  Alley EC, Khimulya G, Biswas S, AlQuraishi M, Church GM. Unified rational protein engineering with sequence-based deep representation learning. Nat. Methods. 2019;16(12):1315-1322. doi:10.1038/s41592-019-0598-1.
• [15]  Suzek BE, Wang Y, Huang H, McGarvey PB, Wu CH, UniProt Consortium. UniRef clusters: a comprehensive and scalable alternative for improving sequence similarity searches. Bioinformatics. 2015;31(6):926-932. doi:10.1093/bioinformatics/btu739.
• [16]  Jumper J, Evans R, Pritzel A, Green T, Figurnov M, Ronneberger O, Tunyasuvunakool K, Bates R, Žídek A, Potapenko A, et al. Highly accurate protein structure prediction with AlphaFold. Nature. 2021;596(7873):583-589. doi:10.1038/s41586-021-03819-2.
• [17]  Steinegger M, Söding J. Clustering huge protein sequence sets in linear time. Nat. Commun. 2018;9(1):2542. doi:10.1038/s41467-018-04964-5.
• [18]  Richardson L, Allen B, Baldi G, Beracochea M, Bileschi ML, Burdett T, Burgin J, Caballero-Pérez J, Cochrane G, Colwell LJ, et al. MGnify: the microbiome sequence data analysis resource in 2023. Nucleic Acids Res. 2023;51(D1):D753-D759. doi:10.1093/nar/gkac1080.
• [19]  Radford A, Wu J, Child R, Luan D, Amodei D, Sutskever I. Language models are unsupervised multitask learners. 2019. https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
• [20]  Chen R, Palpant N, Foley G, Boden M. Multilingual model improves zero-shot prediction of disease effects on proteins. bioRxiv. 2025. doi:10.1101/2025.03.12.642937.
• [21]  Lin Z, Akin H, Rao R, Hie B, Zhu Z, Lu W, Smetanin N, Verkuil R, Kabeli O, Shmueli Y, et al. Evolutionary-scale prediction of atomic-level protein structure with a language model. Science. 2023;379(6637):1123-1130. doi:10.1126/science.ade2574.
• [22]  Radford A, Narasimhan K, Salimans T, Sutskever I, et al. Improving language understanding by generative pre-training. 2018. https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
• [23]  Brown TB, Mann B, Ryder N, Subbiah M, Kaplan J, Dhariwal P, Neelakantan A, Shyam P, Sastry G, Askell A, et al. Language models are few-shot learners. In: Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook, NY, USA: 2020. doi:10.5555/3495724.3495883.
• [24]  Keskar NS, McCann B, Varshney LR, Xiong C, Socher R. CTRL: A conditional transformer language model for controllable generation. arXiv[cs.CL]. 2019. doi:10.48550/arXiv.1909.05858.
• [25]  Nijkamp E, Ruffolo JA, Weinstein EN, Naik N, Madani A. ProGen2: Exploring the boundaries of protein language models. Cell Syst. 2023;14(11):968-978.e3. doi:10.1016/j.cels.2023.10.002.
• [26]  Bhatnagar A, Jain S, Beazer J, Curran SC, Hoffnagle AM, Ching K, Martyn M, Nayfach S, Ruffolo JA, Madani A. Scaling unlocks broader generation and deeper functional understanding of proteins. bioRxiv. 2025;2025.04.15.649055. doi:10.1101/2025.04.15.649055.
• [27]  Raffel C, Shazeer N, Roberts A, Lee K, Narang S, Matena M, Zhou Y, Li W, Liu PJ. Exploring the limits of transfer learning with a unified text-to-text transformer. J. Mach. Learn. Res. 2020. doi:10.5555/3455716.3455856.
• [28]  Elnaggar A, Heinzinger M, Dallago C, Rehawi G, Wang Y, Jones L, Gibbs T, Feher T, Angerer C, Steinegger M, et al. ProtTrans: Toward understanding the language of life through self-supervised learning. IEEE Trans. Pattern Anal. Mach. Intell. 2022;44(10):7112-7127. doi:10.1109/tpami.2021.3095381.
• [29]  Marquet C, Heinzinger M, Olenyi T, Dallago C, Erckert K, Bernhofer M, Nechaev D, Rost B. Embeddings from protein language models predict conservation and variant effects. Hum. Genet. 2022;141(10):1629-1647. doi:10.1007/s00439-021-02411-y.
• [30]  Hayes T, Rao R, Akin H, Sofroniew NJ, Oktay D, Lin Z, Verkuil R, Tran VQ, Deaton J, Wiggert M, et al. Simulating 500 million years of evolution with a language model. Science. 2025;387(6736):850-858. doi:10.1126/science.ads0018.
• [31]  Rao RM, Liu J, Verkuil R, Meier J, Canny J, Abbeel P, Sercu T, Rives A. MSA Transformer. In: Meila M, Zhang T, eds. International Conference on Machine Learning. 2021. pp. 8844-8856.
• [32]  Truong Jr T, Bepler T. PoET: A generative model of protein families as sequences-of-sequences. Adv. Neural Inf. Process. Syst. 2023. pp. 77379-77415.
• [33]  Sgarbossa D, Malbranke C, Bitbol A-F. ProtMamba: a homology-aware but alignment-free protein state space model. Bioinformatics. 2025;41(6):btaf348. doi:10.1093/bioinformatics/btaf348.
• [34]  Schmidinger N, Schneckenreiter L, Seidl P, Schimunek J, Hoedt P-J, Brandstetter J, Mayr A, Luukkonen S, Hochreiter S, Klambauer G. Bio-xLSTM: Generative modeling, representation and in-context learning of biological and chemical sequences. In: The Thirteenth International Conference on Learning Representations. 2024.
• [35]  Ahdritz G, Bouatta N, Kadyan S, Jarosch L, Berenberg D, Fisk I, Watkins A, Ra S, Bonneau R, Alquraishi M. OpenProteinSet: Training data for structural biology at scale. Adv. Neural Inf. Process. Syst. 2023;36:4597-4609.
• [36]  Kempen M van, Kim SS, Tumescheit C, Mirdita M, Lee J, Gilchrist CLM, Söding J, Steinegger M. Fast and accurate protein structure search with Foldseek. Nat. Biotechnol. 2024;42(2):243-246. doi:10.1038/s41587-023-01773-0.
• [37]  Su J, Han C, Zhou Y, Shan J, Zhou X, Yuan F. SaProt: Protein Language Modeling with Structure-aware Vocabulary. In: The Twelfth International Conference on Learning Representations. 2023.
• [38]  Heinzinger M, Weissenow K, Sanchez JG, Henkel A, Mirdita M, Steinegger M, Rost B. Bilingual language model for protein sequence and structure. NAR Genom. Bioinform. 2024;6(4):lqae150. doi:10.1093/nargab/lqae150.
• [39]  Li M, Tan Y, Ma X, Zhong B, Yu H, Zhou Z, Ouyang W, Zhou B, Tan P, Hong L. ProSST: Protein language modeling with quantized structure and disentangled attention. Adv. Neural Inf. Process. Syst. 2025. pp. 35700-35726.
• [40]  Jing B, Eismann S, Suriana P, Townshend RJL, Dror R. Learning from Protein Structure with Geometric Vector Perceptrons. In: International Conference on Learning Representations. 2020.
• [41]  Sun Y, Shen Y. Structure-informed protein language models are robust predictors for variant effects. Hum. Genet. 2024;1-17. doi:10.1007/s00439-024-02695-w.
• [42]  Ouyang-Zhang J, Gong C, Zhao Y, Kraehenbuehl P, Klivans A, Diaz DJ. Distilling Structural Representations into Protein Sequence Models. In: The Thirteenth International Conference on Learning Representations. 2024.
• [43]  Wang D, Pourmirzaei M, Abbas UL, Zeng S, Manshour N, Esmaili F, Poudel B, Jiang Y, Shao Q, Chen J, et al. S-PLM: Structure-aware protein language model via contrastive learning between sequence and structure. Adv. Sci. 2025;12(5):e2404212. doi:10.1002/advs.202404212.
• [44]  Burley SK, Berman HM, Bhikadiya C, Bi C, Chen L, Di Costanzo L, Christie C, Dalenberg K, Duarte JM, Dutta S, et al. RCSB Protein Data Bank: biological macromolecular structures enabling research and education in fundamental biology, biomedicine, biotechnology and energy. Nucleic Acids Res. 2019;47(D1):D464-D474. doi:10.1093/nar/gky1004.
• [45]  UniProt Consortium. UniProt: The universal protein knowledgebase in 2025. Nucleic Acids Res. 2025;53(D1):D609-D617. doi:10.1093/nar/gkae1010.
• [46]  Varadi M, Bertoni D, Magana P, Paramval U, Pidruchna I, Radhakrishnan M, Tsenkov M, Nair S, Mirdita M, Yeo J, et al. AlphaFold Protein Structure Database in 2024: providing structure coverage for over 214 million protein sequences. Nucleic Acids Res. 2024;52(D1):D368-D375. doi:10.1093/nar/gkad1011.
• [47]  Zhang N, Bi Z, Liang X, Cheng S, Hong H, Deng S, Zhang Q, Lian J, Chen H. OntoProtein: Protein Pretraining With Gene Ontology Embedding. In: International Conference on Learning Representations. 2021.
• [48]  Brandes N, Ofer D, Peleg Y, Rappoport N, Linial M. ProteinBERT: a universal deep-learning model of protein sequence and function. Bioinformatics. 2022;38(8):2102-2110. doi:10.1093/bioinformatics/btac020.
• [49]  Madani A, Krause B, Greene ER, Subramanian S, Mohr BP, Holton JM, Olmos JL Jr, Xiong C, Sun ZZ, Socher R, et al. Large language models generate functional protein sequences across diverse families. Nat. Biotechnol. 2023;41(8):1099-1106. doi:10.1038/s41587-022-01618-2.
• [50]  Xu M, Yuan X, Miret S, Tang J. ProtST: Multi-modality learning of protein sequences and biomedical texts. In: Krause A, Brunskill E, Cho K, Engelhardt B, Sabato S, Scarlett J, eds. Proceedings of the 40th International Conference on Machine Learning. 2023. pp. 38749-38767.
• [51]  Wu KE, Chang H, Zou J. ProteinCLIP: enhancing protein language models with natural language. bioRxiv. 2024. doi:10.1101/2024.05.14.594226.
• [52]  Gu Y, Tinn R, Cheng H, Lucas M, Usuyama N, Liu X, Naumann T, Gao J, Poon H. Domain-specific language model pretraining for biomedical natural language processing. ACM Trans. Comput. Healthcare. 2021 Oct;3(1). doi:10.1145/3458754.
• [53]  Liu S, Li Y, Li Z, Gitter A, Zhu Y, Lu J, Xu Z, Nie W, Ramanathan A, Xiao C, et al. A text-guided protein design framework. Nat. Mach. Intell. 2025;7(4):580-591. doi:10.1038/s42256-025-01011-z.
• [54]  Yang KK, Fusi N, Lu AX. Convolutions are competitive with transformers for protein sequence pretraining. Cell Syst. 2024;15(3):286-294.e2. doi:10.1016/j.cels.2024.01.008.
• [55]  Nguyen E, Poli M, Durrant MG, Kang B, Katrekar D, Li DB, Bartie LJ, Thomas AW, King SH, Brixi G, et al. Sequence modeling and design from molecular to genome scale with Evo. Science. 2024;386(6723):eado9336. doi:10.1126/science.ado9336.
• [56]  Wang L, Zhang H, Xu W, Xue Z, Wang Y. Deciphering the protein landscape with ProtFlash, a lightweight language model. Cell Rep. Phys. Sci. 2023;4(10):101600. doi:10.1016/j.xcrp.2023.101600.
• [57]  Stärk H, Dallago C, Heinzinger M, Rost B. Light attention predicts protein location from the language of life. Bioinform. Adv. 2021;1(1):vbab035. doi:10.1093/bioadv/vbab035.
• [58]  Gu A, Dao T. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. In: First Conference on Language Modeling. 2024.
• [59]  Gu A, Goel K, Re C. Efficiently Modeling Long Sequences with Structured State Spaces. In: International Conference on Learning Representations. 2022.
• [60]  Wang Y, Wang Z, Sadeh G, Zancato L, Achille A, Karypis G, Rangwala H. LC-PLM: Long-context protein language modeling using bidirectional mamba with shared projection layers. Transact. Mach. Learn. Res. 2025.
• [61]  Peng FZ, Wang C, Chen T, Schussheim B, Vincoff S, Chatterjee P. PTM-Mamba: a PTM-aware protein language model with bidirectional gated Mamba blocks. Nat. Methods. 2025;22(5):945-949. doi:10.1038/s41592-025-02656-9.
• [62]  Notin P, Kollasch AW, Ritter D, Niekerk L van, Paul S, Spinner H, Rollins N, Shaw A, Weitzman R, Frazer J, et al. ProteinGym: Large-scale benchmarks for protein fitness prediction and design. In: Proceedings of the 37th International Conference on Neural Information Processing Systems. Red Hook, NY, USA: 2023. doi:10.5555/3666122.3668932.
• [63]  Ektefaie Y, Shen A, Jain L, Farhat M, Zitnik M. Evolutionary Reasoning Does Not Arise in Standard Usage of Protein Language Models. In: The Thirty-ninth Annual Conference on Neural Information Processing Systems. 2025.
• [64]  Brixi G, Durrant MG, Ku J, Naghipourfar M, Poli M, Sun G, Brockman G, Chang D, Fanton A, Gonzalez GA, King SH, Li DB, Merchant AT, Nguyen E, Ricci-Tam C, Romero DW, Schmok JC, Taghibakhshi A, Vorontsov A, Yang B, Deng M, Gorton L, Nguyen N, Wang NK, Pearce MT, Simon E, Adams E, Amador ZJ, Ashley EA, Baccus SA, Dai H, Dillmann S, Ermon S, Guo D, Herschl MH, Ilango R, Janik K, Lu AX, Mehta R, Mofrad MRK, Ng MY, Pannu J, Ré C, St John J, Sullivan J, Tey J, Viggiano B, Zhu K, Zynda G, Balsam D, Collison P, Costa AB, Hernandez-Boussard T, Ho E, Liu MY, McGrath T, Powell K, Pinglay S, Burke DP, Goodarzi H, Hsu PD, Hie BL. Genome modelling and design across all domains of life with Evo 2. Nature. 2026; doi: 10.1038/s41586-026-10176-5.
• [65]  Poli M, Massaroli S, Nguyen E, Fu DY, Dao T, Baccus S, Bengio Y, Ermon S, Ré C. Hyena hierarchy: towards larger convolutional language models. In: Proceedings of the 40th International Conference on Machine Learning. 2023.
• [66]  Beck M, Pöppel K, Spanring M, Auer A, Prudnikova O, Kopp M, Klambauer G, Brandstetter J, Hochreiter S. xLSTM: Extended long short-term memory. In: Globerson A, Mackey L, Belgrave D, Fan A, Paquet U, Tomczak J, Zhang C, eds. Adv. Neural Inf. Process. Syst. 2024. pp. 107547-107603. doi:10.52202/079017-3417.
• [67]  Hu EJ, Shen Y, Wallis P, Allen-Zhu Z, Li Y, Wang S, Chen W. LoRA: Low-Rank Adaptation of large language models. Int Conf Learn Represent. 2021.
• [68]  Zhou Z, Zhang L, Yu Y, Wu B, Li M, Hong L, Tan P. Enhancing efficiency of protein language models with minimal wet-lab data through few-shot learning. Nat. Commun. 2024;15(1):5566. doi:10.1038/s41467-024-49798-6.
• [69]  Liu H, Tam D, Mohammed M, Mohta J, Huang T, Bansal M, Raffel C. Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning. Adv. Neural inf. Process. syst. 2022.
• [70]  Ding N, Qin Y, Yang G, Wei F, Yang Z, Su Y, Hu S, Chen Y, Chan C-M, Chen W, et al. Parameter-efficient fine-tuning of large-scale pre-trained language models. Nat. Mach. Intell. 2023;5(3):220-235. doi:10.1038/s42256-023-00626-4.
• [71]  Sun Q, Liu Y, Chua T-S, Schiele B. Meta-Transfer Learning for Few-Shot Learning. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019. pp. 403-412. doi:10.1109/CVPR.2019.00049.
• [72]  Furui K, Ohue M. ALLM-Ab: Active Learning-Driven Antibody Optimization Using Fine-Tuned Protein Language Models. J. Chem. Inf. Model. 2025. doi:10.1021/acs.jcim.5c01577.
• [73]  Schmirler R, Heinzinger M, Rost B. Fine-tuning protein language models boosts predictions across diverse tasks. Nat. Commun. 2024;15(1):7407. doi:10.1038/s41467-024-51844-2.
• [74]  Zhang Z, Zhou Y, Zheng J, Feng C, Cui S, Wang S, Li Z. Boost protein language model with injected structure information through parameter efficient fine-tuning. Comput. Biol. Med. 2025;195:110607. doi:10.1016/j.compbiomed.2025.110607.
• [75]  Lv L, Lin Z, Li H, Liu Y, Cui J, Chen CY-C, Yuan L, Tian Y. ProLLaMA: A protein large language model for multi-task protein language processing. IEEE Trans. Artif. Intell. 2026;7(2):642-653. doi:10.1109/tai.2025.3564914.
• [76]  Gorantla R, Gema AP, Yang IX, Serrano-Morrás Á, Suutari B, Juárez-Jiménez J, Mey ASJS. Learning binding affinities via fine-tuning of protein and ligand language models. J. Chem. Inf. Model. 2025;65(22):12279-12291. doi:10.1021/acs.jcim.5c02063.
• [77]  Yeh S-Y, Hsieh Y-G, Gao Z, Yang BBW, Oh G, Gong Y. Navigating Text-To-Image Customization: From LyCORIS Fine-Tuning to Model Evaluation. In: The Twelfth International Conference on Learning Representations. 2023.
• [78]  Sawhney R, Ferrell BD, Dejean T, Schreiber ZD, Harrigan W, Polson SW, Wommack KE, Belcaid M. Fine-tuning protein language models unlocks the potential of underrepresented viral proteomes. bioRxiv. 2025. doi:10.1101/2025.04.17.649224.
• [79]  Olsen TH, Boyles F, Deane CM. Observed Antibody Space: A diverse database of cleaned, annotated, and translated unpaired and paired antibody sequences. Protein Sci. 2022;31(1):141-146. doi:10.1002/pro.4205.
• [80]  Leem J, Mitchell LS, Farmery JHR, Barton J, Galson JD. Deciphering the language of antibodies using self-supervised learning. Patterns. 2022;3(7):100513. doi:10.1016/j.patter.2022.100513.
• [81]  Olsen TH, Moal IH, Deane CM. AbLang: an antibody language model for completing antibody sequences. Bioinform. Adv. 2022;2(1):vbac046. doi:10.1093/bioadv/vbac046.
• [82]  Olsen TH, Moal IH, Deane CM. Addressing the antibody germline bias and its effect on language models for improved antibody design. Bioinformatics. 2024;40(11):btae618. doi:10.1093/bioinformatics/btae618.
• [83]  Ruffolo JA, Gray JJ, Sulam J. Deciphering antibody affinity maturation with language models and weakly supervised learning. arXiv[q-bio.BM]. 2021. doi:10.48550/arXiv.2112.07782.
• [84]  Turnbull OM, Oglic D, Croasdale-Wood R, Deane CM. p-IgGen: a paired antibody generative language model. Bioinformatics. 2024;40(11):btae659. doi:10.1093/bioinformatics/btae659.
• [85]  Wasdin PT, Johnson NV, Janke AK, Held S, Marinov TM, Jordaan G, Gillespie RA, Vandenabeele L, Pantouli F, Powers OC, et al. Generation of antigen-specific paired-chain antibodies using large language models. Cell. 2025;188(25):7206-7221.e16. doi:10.1016/j.cell.2025.10.006.
• [86]  Vashchenko D, Nguyen S, Goncalves A, Silva FL da, Petersen B, Desautels T, Faissol D. AbBERT: Learning Antibody Humanness via Masked Language Modeling. bioRxiv. 2022. doi:10.1101/2022.08.02.502236.
• [87]  Desautels TA, Arrildt KT, Zemla AT, Lau EY, Zhu F, Ricci D, Cronin S, Zost SJ, Binshtein E, Scheaffer SM, et al. Computationally restoring the potency of a clinical antibody against Omicron. Nature. 2024;629(8013):878-885. doi:10.1038/s41586-024-07385-1.
• [88]  Glänzer WS, Reddy ST, Yermanos A. Revealing bias in antibody language models through systematic training data processing with OAS-explore. In: NeurIPS 2025 2nd Workshop on Multi-modal Foundation Models and Large Language Models for Life Sciences. 2025.
• [89]  Uçar T, Malherbe C, Gonzalez F. Exploring log-likelihood scores for ranking antibody sequence designs. bioRxiv. 2024. doi:10.1101/2024.10.07.617023.
• [90]  Chungyoun M, Gray JJ. Fitness Landscape for antibodies 2: Benchmarking reveals that protein AI models cannot yet consistently predict developability properties. bioRxiv. 2025;2025.12.27.696706. doi:10.64898/2025.12.27.696706.
• [91]  Ruffolo JA, Chu L-S, Mahajan SP, Gray JJ. Fast, accurate antibody structure prediction from deep learning on massive set of natural antibodies. Nat. Commun. 2023;14(1):2389. doi:10.1038/s41467-023-38063-x.
• [92]  Wang Y, Gong X, Li S, Yang B, Sun Y, Shi C, Wang Y, Yang C, Li H, Song L. xTrimoABFold: De novo Antibody Structure Prediction without MSA. arXiv[q-bio.QM]. 2022. doi:10.48550/arXiv.2212.00735.
• [93]  Jing H, Gao Z, Xu S, Shen T, Peng Z, He S, You T, Ye S, Lin W, Sun S. Accurate prediction of antibody function and structure using bio-inspired antibody language model. Brief. Bioinform. 2024;25(4):bbae245. doi:10.1093/bib/bbae245.
• [94]  Wu KE, Yost K, Daniel B, Belk J, Xia Y, Egawa T, Satpathy A, Chang H, Zou J. TCR-BERT: learning the grammar of T-cell receptors for flexible antigen-binding analyses. In: Machine Learning in Computational Biology. 2024. pp. 194-229.
• [95]  Essaghir A, Sathiyamoorthy NK, Smyth P, Postelnicu A, Ghiviriga S, Ghita A, Singh A, Kapil S, Phogat S, Singh G. T-cell receptor specific protein language model for prediction and interpretation of epitope binding (ProtLM.TCR). bioRxiv. 2022. doi:10.1101/2022.11.28.518167.
• [96]  Zhang J, Ma W, Yao H. Accurate TCR-pMHC interaction prediction using a BERT-based transfer learning method. Brief. Bioinform. 2023;25(1):bbad436. doi:10.1093/bib/bbad436.
• [97]  Meynard-Piganeau B, Feinauer C, Weigt M, Walczak AM, Mora T. TULIP: A transformer-based unsupervised language model for interacting peptides and T cell receptors that generalizes to unseen epitopes. Proc. Natl. Acad. Sci. U. S. A. 2024;121(24):e2316401121. doi:10.1073/pnas.2316401121.
• [98]  Gujral O, Bafna M, Alm E, Berger B. Sparse autoencoders uncover biologically interpretable features in protein language model representations. Proc. Natl. Acad. Sci. U. S. A. 2025;122(34):e2506316122. doi:10.1073/pnas.2506316122.
• [99]  Zhang Z, Wayment-Steele HK, Brixi G, Wang H, Kern D, Ovchinnikov S. Protein language models learn evolutionary statistics of interacting sequence motifs. Proc. Natl. Acad. Sci. U. S. A. 2024;121(45):e2406285121. doi:10.1073/pnas.2406285121.
• [100]  Vig J, Madani A, Varshney LR, Xiong C, Socher R, Rajani N. BERTology Meets Biology: Interpreting Attention in Protein Language Models. In: International Conference on Learning Representations. 2020.
• [101]  Nayar G, Tartici A, Altman RB. Paying attention to attention: High attention sites as indicators of protein family and function in language models. PLoS Comput. Biol. 2025;21(9):e1013424. doi:10.1371/journal.pcbi.1013424.
• [102]  Anthropic. Claude 3.5 sonnet. 2024.
• [103]  Elnaggar A, Essam H, Salah-Eldin W, Moustafa W, Elkerdawy M, Rochereau C, Rost B. Ankh: Optimized protein language model unlocks general-purpose modelling. arXiv[cs.LG]. 2023. doi:10.1101/2023.01.16.524265.
• [104]  Fournier Q, Vernon RM, Sloot A van der, Schulz B, Chandar S, Langmead C. Protein language models: Is scaling necessary? bioRxiv. 2024. doi:10.1101/2024.09.23.614603.
• [105]  Li F-Z, Amini AP, Yue Y, Yang KK, Lu AX. Feature reuse and scaling: Understanding transfer learning with protein language models. In: Proceedings of the 41st International Conference on Machine Learning. 2024.
• [106]  Cheng X, Chen B, Li P, Gong J, Tang J, Song L. Training Compute-Optimal Protein Language Models. In: ICML 2024 Workshop on Efficient and Accessible Foundation Models for Biological Discovery. 2024.
• [107]  Vieira LC, Handojo ML, Wilke CO. Medium-sized protein language models perform well at transfer learning on realistic datasets. Sci. Rep. 2025;15(1):21400. doi:10.1038/s41598-025-05674-x.
• [108]  AlQuraishi M. Machine learning in protein structure prediction. Curr. Opin. Chem. Biol. 2021;65:1-8. doi:10.1016/j.cbpa.2021.04.005.
• [109]  Wu R, Ding F, Wang R, Shen R, Zhang X, Luo S, Su C, Wu Z, Xie Q, Berger B, et al. High-resolution de novo structure prediction from primary sequence. bioRxiv. 2022. doi:10.1101/2022.07.21.500999.
• [110]  Abramson J, Adler J, Dunger J, Evans R, Green T, Pritzel A, Ronneberger O, Willmore L, Ballard AJ, Bambrick J, et al. Accurate structure prediction of biomolecular interactions with AlphaFold 3. Nature. 2024;630(8016):493-500. doi:10.1038/s41586-024-07487-w.
• [111]  Chen B, Cheng X, Li P, Geng Y-A, Gong J, Li S, Bei Z, Tan X, Wang B, Zeng X, et al. xTrimoPGLM: unified 100-billion-parameter pretrained transformer for deciphering the language of proteins. Nat. Methods. 2025;1-12. doi:10.1038/s41592-025-02636-z.
• [112]  Chai Discovery, Boitreaud J, Dent J, McPartlon M, Meier J, Reis V, Rogozhnikov A, Wu K. Chai-1: Decoding the molecular interactions of life. bioRxiv. 2024;2024.10.10.615955. doi:10.1101/2024.10.10.615955.
• [113]  Chen B, Bei Z, Cheng X, Li P, Tang J, Song L. MSAGPT: Neural prompting protein structure prediction via msa generative pre-training. Adv. Neural Inf. Process. Syst. 2025. pp. 37504-37534.
• [114]  Zhang L, Chen J, Shen T, Li Y, Sun S. MSA generation with Seqs2Seqs pretraining: Advancing protein structure predictions. Adv. Neural Inf. Process. Syst. 2024;37:57324-57348.
• [115]  Landrum MJ, Kattman BL. ClinVar at five years: Delivering on the promise. Hum. Mutat. 2018;39(11):1623-1630. doi:10.1002/humu.23641.
• [116]  Frazer J, Notin P, Dias M, Gomez A, Min JK, Brock K, Gal Y, Marks DS. Disease variant prediction with deep generative models of evolutionary data. Nature. 2021;599(7883):91-95. doi:10.1038/s41586-021-04043-8.
• [117]  Meier J, Rao R, Verkuil R, Liu J, Sercu T, Rives A. Language models enable zero-shot prediction of the effects of mutations on protein function. Adv. Neural Inf. Process. Syst. 2021. pp. 29287-29303.
• [118]  Livesey BJ, Marsh JA. Updated benchmarking of variant effect predictors using deep mutational scanning. Mol. Syst. Biol. 2023;19(8):e11474. doi:10.15252/msb.202211474.
• [119]  Laine E, Karami Y, Carbone A. GEMME: A simple and fast Global Epistatic Model predicting Mutational Effects. Mol. Biol. Evol. 2019;36(11):2604-2619. doi:10.1093/molbev/msz179.
• [120]  Cheng J, Novati G, Pan J, Bycroft C, Žemgulytė A, Applebaum T, Pritzel A, Wong LH, Zielinski M, Sargeant T, et al. Accurate proteome-wide missense variant effect prediction with AlphaMissense. Science. 2023;381(6664):eadg7492. doi:10.1126/science.adg7492.
• [121]  Marquet C, Schlensok J, Abakarova M, Rost B, Laine E. Expert-guided protein language models enable accurate and blazingly fast fitness prediction. Bioinformatics. 2024;40(11):btae621. doi:10.1093/bioinformatics/btae621.
• [122]  Yu Y, Jiang F, Ma X, Zhang L, Zhong B, Ouyang W, Fan G, Yu H, Hong L, Li M. Venus-MAXWELL: Efficient Learning of Protein-Mutation Stability Landscapes using Protein Language Models. In: The Thirty-ninth Annual Conference on Neural Information Processing Systems. 2025.
• [123]  Truong TF Jr, Bepler T. Understanding protein function with a multimodal retrieval-augmented foundation model. In: The Thirty-ninth Annual Conference on Neural Information Processing Systems. 2025.
• [124]  Hou C, Zhao H, Shen Y. Protein language models trained on biophysical dynamics inform mutation effects. Proc. Natl. Acad. Sci. U. S. A. 2026;123(4):e2530466123. doi:10.1073/pnas.2530466123.
• [125]  Shazeer N, Mirhoseini A, Maziarz K, Davis A, Le Q, Hinton G, Dean J. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. In: International Conference on Learning Representations. 2017.
• [126]  Wen Y, Xu C, Hu JY-C, Ding K, Liu H. Pareto-Optimal Energy Alignment for Designing Nature-Like Antibodies. In: The Thirty-ninth Annual Conference on Neural Information Processing Systems. 2025.
• [127]  Rafailov R, Sharma A, Mitchell E, Manning CD, Ermon S, Finn C. Direct Preference Optimization: Your Language Model is Secretly a Reward Model. In: Thirty-seventh Conference on Neural Information Processing Systems. 2023.

著者略歴

古井 海里 東京科学大学情報理工学院博士課程在学。専門はバイオ・ケモインフォマティクス。深層学習と分子シミュレーションを融合した創薬技術の研究に従事。特に、タンパク質言語モデルを用いた抗体最適化や、自由エネルギー計算による結合親和性予測の高精度化・高速化など、低分子および抗体医薬品の合理的設計に関するin silico技術の開発に取り組んでいる。

大上 雅史 2014年、東京工業大学 大学院情報理工学研究科 博士後期課程修了、博士（工学）取得。その後、日本学術振興会特別研究員PD、東京工業大学 情報理工学院 助教等を経て、2024年に東京科学大学 情報理工学院 准教授となり、現在に至る。生体分子に関わるバイオインフォマティクス研究全般に興味があり、最近は多様な創薬モダリティに向けた技術開発に取り組んでいる。 ホームページ：https://www.li.comp.isct.ac.jp