タンパク質言語モデルの発展と応用

抄録

自然言語処理分野で成功した大規模言語モデル（LLMs）の技術をタンパク質配列に適用したタンパク質言語モデル（pLMs）が、近年急速に発展している。従来のpLMsは主にスケーリング則に基づくモデルサイズの拡大による性能向上に依存していたが、配列情報から得られる知識の限界や、計算効率の問題、特定のタスク・ドメインへの適用が難しいといった実用化における障壁があった。本稿では、立体構造や進化情報を統合するマルチモーダル化、Mambaを始めとする計算効率に優れた新規アーキテクチャ、およびParameter-Efficient Fine-Tuning（PEFT）やドメイン特化モデルなどの最新のpLMs技術を取り上げて概説する。また、立体構造予測や変異効果予測などの個別の応用においてこれらの技術がどのように貢献しているかを紹介し、今後の創薬や治療薬開発への展望を議論する。