金融ドメイン特化のための大規模言語モデルのインストラクションチューニング評価

抄録

特定のドメインに特化させた小型言語モデルは汎用的な大規模言語モデルの性能を超えることが報告され始めている．しかしながら，金融領域に特化したオープンソースの言語モデルは限定されており，本領域において十分な性能を持った言語モデルの評価は不十分である．そこで，本研究では，センチメント分析，識別，質問応答といった広範囲な金融領域のタスクを含むベンチマークセットを利用し，小型のチャットモデルを複数の条件でインストラクション・チューニングさせた場合の性能変化について評価を行った．損失関数の比較検証に加え，低ランク適応および量子化を用いてファインチューニング行い7Bモデルと13Bモデルを学習させた結果，継続事前学習や教師有りファインチューニングでは過学習が生じるにもかかわらず，各タスクの精度は向上し，インストラクションのテンプレートに影響を受けることが判明した．