タンパク質言語モデルの強化学習における報酬関数の評価

抄録

製薬開発には多くの実験が必要となるため、高性能なタンパク質の候補を機械学習で予測することで、実験回数と関連コストを削減する取り組みが進められている。近年では、候補となるタンパク質の性能を向上させるために、強化学習と言語モデルを組み合わせる技術が注目されている。強化学習における報酬関数の学習方法は、一般的に平均二乗誤差（MSE損失）やランク付け（Rank損失）が用いられる。タンパク質言語モデルの強化学習においては、各損失の特性は十分に議論されていないため、報酬関数による学習結果の傾向を把握することは製薬分野の発展のために重要だと考える。本研究では、MSE損失とRank損失で学習した報酬関数を用いて、高性能なタンパク質を生成する言語モデルを構築する。言語モデルが生成したタンパク質を評価し、各報酬関数が言語モデルの性能に与える影響を考察する。