主催: 一般社団法人 人工知能学会
会議名: 第34回全国大会(2020)
回次: 34
開催地: Online
開催日: 2020/06/09 - 2020/06/12
本論文では BERT の領域依存の問題を指摘し、Fine-Tuning を利用することで領域に特化した事前学習モデルを構築する。具体的には既存 BERT モデルのパラメータを DistilBERT のパラメータの初期値とし、領域毎のコーパスを利用して DistilBERT モデルの学習を行う。これによって領域に特化した DistilBERT モデルの構築が効率的に行える。実験では、領域毎に空所単語の推定問題を作成し、問題の領域に特化して構築したモデルと既存 BERT モデルを比較することで、構築したモデルの有益性を示す。