対照学習済みBERTによる不祥事記事分類と文章埋め込み表現の考察

抄録

本研究では、経済記事が不祥事を取り上げたものかどうかを判定することを目的とし、２値分類問題に帰着した取り組みを報告する。不祥事は企業や組織の経営に甚大な影響を与えうるため、報道された記事をできるだけ早く検知し、その見落しは絶対に許されない。このことから、高い再現率が求められる。本研究では、SimCSEと呼ばれるBERTの文章空間の異方性を整えた深層学習モデルを用い、不祥事記事の見落としを抑えて、再現率の向上を試みた。ロイター記事を使った実験の結果、SimCSEを適用したBERTは、適用していないものと比べて再現率が向上した。文章空間のUniformityという指標においても向上が見られ、この等方的な空間が再現率の向上に寄与したと考えられる。また、ファインチューニング前後においても、Uniformityの高さは引き継がれることがわかった。