Semantic Shift Stability: 学習コーパス内の単語の意味変化を用いた事前学習済みモデルの時系列性能劣化の監査

抄録

研究者や実務者にとって事前学習済みモデルの利活用が一般的になる中，実運用上の大きな課題として時系列性能劣化の監査が挙げられる．特に事前学習済み言語モデルは事前学習や推論にかかる時間と費用が大きいため，効率的な監査と再学習の仕組みの検討は重要である．本研究では学習コーパス内の単語の通時的な意味変化を計算することで，事前学習済み言語モデルや単語分散表現の時系列性能劣化を監査する枠組みを提案し，モデルの再学習に関する意思決定を支援する．最初に 2011～2021 年の日本語・英語のニュース記事を用いて，学習コーパスの期間が異なる RoBERTa や word2vec のモデルを構築し，時系列性能劣化を観測した．実験では，学習コーパス内の単語の通時的な意味変化から計算できる指標「Semantic Shift Stability」が小さくなる際，事前学習済みモデルの性能が時系列で大きく劣化しており，監査の用途での有用性を確認できた．提案する枠組みには意味が大きく変化した単語から原因を推察できる利点もあり，2016 年の米大統領選や 2020 年の新型コロナウイルス感染症の影響が示唆された．指標を計算するソースコードはhttps://github.com/Nikkei/semantic-shift-stability で公開した．