下流タスクが与えられたとき，タスクの対象とするドメインののコーパスで追加事前学習を行うとそのタスクでの性能が向上することが知られている．しかし，既存研究では対象ドメインのコーパスや追加事前学習に利用できるだけの量の下流タスクデータの存在を仮定しており、これらは実用的には必ずしも利用可能でない．そこで，本研究ではドメインに依存しない超大規模コーパスの各ドキュメントと少量の下流タスク学習用データとの類似度を算出し，追加事前学習による追加事前学習に適したドキュメント群を抽出する手法を提案する．そして，抽出したドキュメント群による追加事前学習が下流タスクにおける性能を向上させることを実験的に示す．
