金融LLM構築における継続事前学習モデルのマージ評価
2025 年 2025 巻 CSS-001 号 p. 29-33
詳細
2025 年 2025 巻 CSS-001 号 p. 29-33
モデルマージは，新たなLLMを構築する上で重要であるが，微調整モデルのマージとは異なり，継続事前学習(CPT)モデルのマージはほとんど検討されておらず，その可能性は明らかでない．本研究では，CPTエキスパートを統合して金融特化LLMを構築するケーススタディを通じ，このギャップの解消に取り組む．マージ効果の分析のための評価フレームワークと全18タスクからなる金融ベンチマークを設計する．主要な3つのマージ手法を用いて評価する．実験の結果，CPT中に失われた能力は，ベースモデルとマージすることで回復する可能性や，複数CPTモデルの統合により，個々のモデルの性能を上回る可能性が確認された．
