2024 年 2024 巻 FIN-033 号 p. 150-154
近年、大規模言語モデル(LLM)は様々な自然言語処理タスクで顕著な性能を発揮しており、金融領域においても注目を集めている。だが、日本語の金融タスクに特化したLLMは数少なく、またモデル構築においてはデータやコストの面での障壁が存在する。本研究では、進化的モデルマージを用いて日本語金融タスクに適したLLMを構築する方法について検証する。進化的モデルマージとは、複数の異なるLLMを合成して新たに高性能なモデルを構築するモデルマージ手法の1つで、進化的アルゴリズムを活用してモデルを効率的に作成できる点が特徴である。発表では、モデルマージにおけるタスク設定の影響や、マージ後のモデルの特徴などについての検証結果を報告する。