大規模言語モデルを用いたGitコミットメッセージ自動生成の評価の試み

抄録

Gitを用いたバージョン管理においてコミットメッセージの品質は開発効率に大きな影響を与える．しかし実際の開発現場では，変更内容を適切に要約したコミットメッセージが作成されない場合がある．本研究ではGitコミットの差分データから自動的にコミットメッセージを生成し，人間が作成したコミットメッセージとの品質比較を行う．具体的には，大規模言語モデルを用いて差分内容の要約を生成し，Sentence-BERTによる意味的類似度評価によってその品質を定量化する．予備実験として4766件のコミットを持つseL4/seL4リポジトリを対象とした評価を実施し，LLMによる自動コミットメッセージ生成の実用性と限界について検討した．