人工知能学会全国大会論文集
Online ISSN : 2758-7347
第37回 (2023)
セッションID: 3Xin4-03
会議情報

超大規模コーパスからの抽出コーパスによる言語モデルのタスク適応
*本浦 庄太秋元 康佑槇尾 純太定政 邦彦
著者情報
会議録・要旨集 フリー

詳細
抄録

下流タスクが与えられたとき,タスクの対象とするドメインののコーパスで追加事前学習を行うとそのタスクでの性能が向上することが知られている.しかし,既存研究では対象ドメインのコーパスや追加事前学習に利用できるだけの量の下流タスクデータの存在を仮定しており、これらは実用的には必ずしも利用可能でない.そこで,本研究ではドメインに依存しない超大規模コーパスの各ドキュメントと少量の下流タスク学習用データとの類似度を算出し,追加事前学習による追加事前学習に適したドキュメント群を抽出する手法を提案する.そして,抽出したドキュメント群による追加事前学習が下流タスクにおける性能を向上させることを実験的に示す.

著者関連情報
© 2023 人工知能学会
前の記事 次の記事
feedback
Top