GitHub Copilotを用いたコード推薦における入力言語の影響調査

抄録

近年，IT需要の拡大に伴って，開発効率向上のため，開発支援ツールを活用して開発が行われている． その中の一つとして，2022年にGitHubが公開したGitHub Copilotがある． GitHub Copilotは大規模言語モデルをベースとしたコード推薦ツールの一種であり， 仕様を記述したコメントや，記述中のプログラムをもとに開発者に対してコードやライブラリを推薦する． 一方，大規模な事前学習済み言語モデルは，入力によって出力が大きく異なることが知られている． そこで，本稿では，言語間の学習データ量の違いに着目し，入力言語の違いがCopilotの性能にどのような影響を与えるのか調査を行った． 調査の結果，入力言語の違いによってGitHub Copilotの性能に差が生じることが明らかになった． また，調査結果によって明らかとなった大規模言語モデルに対する問題点を示す．