BERTによるセキュリティバグの判別の試み

抄録

本稿では，大規模言語モデルBERTに基づくテキスト分類技術を用いて，バグの説明文を入力として，セキュリティバグとそれ以外のバグの判別を試みた．4つのオープンソースプロジェクトを対象とした判別実験の結果，適合率が42.9%，再現率が30.0%，F1スコアが35.3%となった．実験で用いたissue群に含まれるセキュリティバグの割合が3.98%であり，F1スコアの期待値が3.98%であることを考慮すると，高い精度が得られていると考える．