Construction and Validation of a Financial LLMs

Abstract

本研究では､金融に特化したLLMの構築に取り組んだ｡まず､ﾄﾞﾒｲﾝ特化のｺｰﾊﾟｽを構築し､そのｺｰﾊﾟｽを用いた継続事前学習を実施した｡その上で､金融に特化した金融知識の有無を確認するﾍﾞﾝﾁﾏｰｸを使用し､性能を評価した｡さらに､ﾓﾃﾞﾙﾏｰｼﾞを行い､ｲﾝｽﾄﾗｸｼｮﾝへの対応能力をﾓﾃﾞﾙに付与することで､金融のｲﾝｽﾄﾗｸｼｮﾝﾓﾃﾞﾙを構築した｡ｲﾝｽﾄﾗｸｼｮﾝﾓﾃﾞﾙの性能を評価するために､金融に特化した生成の良さを確認するﾍﾞﾝﾁﾏｰｸを使用し､その性能を比較した｡これらの取り組みを通じてLLMを金融に適合させることができることを示した｡