Template-based Code Genrationを用いた大規模言語モデルによる自動プログラミングの高速化

抄録

近年，大規模言語モデル（LLM）によるコード生成が急速に発展し，有望な結果を示している．一方で，最先端のLLMの多くは自己回帰型モデルであり，前方から逐次的にコードを生成していく必要がある．そのため，長文のコード生成時には出力が完了するまでに多くの時間を要する．また，その出力の一部を修正する場合は一から再出力する必要があり，出力コードが長くなるほど修正の効率が悪化してしまう．本論文では，LLMによる自動プログラミングに対してTemplate-based Code Generation（TBCG）の概念を適用することにより，この問題の解決を目指す．TBCGはコードのテンプレートを用意し，そこに埋め込まれる数値を埋め込むことで，必要最低限のコーディングでコードを生成する手法である．提案手法では，LLMにテンプレートを介したコーディングを行わせることで，頻出する構文要素の記述量の削減と部分的なコード修正を可能にし，自動プログラミングの高速化を行う．評価実験では，HTMLの生成と修正に関する独自の評価用データセット上での結果をもとに，提案手法の有効性を示す．