多様なテンプレートと合成データを用いた大規模言語モデルの業種区分予測における知識抽出

抄録

金融ドメインにおける大規模言語モデル（LLM）の実用化には，専門的な金融知識の不足という課題が存在する． 特に，日本の金融市場に特有の知識である業種区分に関して、既存のLLMの多くは限定的な推論能力しか示していない． 本研究では，LLMにおける業種区分の知識抽出能力を向上させるため，質問応答形式のテンプレートを用い，ルールベースおよびLLMベースで生成したデータセットで微調整を行う手法を提案する． 実験結果から，LLMベースの合成データの使用およびテンプレートの多様化が，モデルの業種区分に関する知識抽出能力を有意に向上させることを確認した．さらに，合成データのパープレキシティと業種区分の正答率との間に相関があることを示す．