Wikipedia記事間の関係を考慮したTriplet Networkに基づくBERTのFine-tuning

抄録

近年、文の分散表現を獲得する方法として、BERTのような事前学習済み言語モデルをタスクに合わせてfine-tuningする方法が提案されている。Dor et al. (2018) は、教師なし学習を利用して言語モデルをfine-tuningする方法として、ある文がwikipediaのどの記事中の文かを推定させるタスクにおいて、wikipediaの同記事かつ同節に含まれる文を正例、同記事かつ別節に含まれる文を負例とする損失関数 (Triplet Loss) に基づく方法を提案した。しかし、異なる記事間の関連性を考慮していないため、同記事中よりも関連記事中に多くの情報が記述されている場合に、適切な負例を選択できない問題がある。 本研究では、上記推定タスクにおける新たなfine-tuning方法を提案する。記事間のハイパーリンク構造に基づいて負例を選択し、記事間の関係情報を取り入れた新たな損失関数に基づいてfine-tuningを行った。提案方法は、上記推定タスクにおけるstate-of-the-artと比較して、Accuracyやモデルのロバスト性において性能向上が認められた。