事前学習と追加事前学習による金融言語モデルの構築と検証

抄録

本研究では決算短信や有価証券報告書を用い，言語モデルのBERT とELECTRA について，事前学習や追加で事前学習(追加事前学習) を行いモデルを構築する．構築したモデルについて，金融ドメインのタスクによって汎用コーパスを用いたモデルとの性能を比較する．その際，ファインチューニングを行う層の数などパラメーターによる性能についても比較を行う．構築した一部のモデルについては一般に公開する．