遺伝的アルゴリズムと知識蒸留によるコード生成のための大規模言語モデルの学習

抄録

本研究では、大規模言語モデル（LLM）の新しい学習方法について検証する。 オープンエンドな進化から発想を得て、個々のLLMが自律的なエージェントとして機能しつつ、それらが群として学習を進めることで、単一モデルでは解決が難しい、複合的な問題の解決を目指す。 具体的な提案手法として、遺伝的アルゴリズムと知識蒸留を組み合わせた学習プロセスを提案する。 知識蒸留によって学習を進めつつ、同時に遺伝的アルゴリズムによって、ハイパーパラメータを最適化することで、より効率的な学習の実現を目指す。 ドメインタスクとしては、指示文からPythonコードを生成するコード生成タスクを選定した。 実験では、3つの生徒モデルと1つの教師モデルを用いて学習を行った。結果としては、HumanEvalのpass@1で1.2％の精度向上を達成し、学習進捗に伴う学習率の最適化の兆候を確認した。一方で、大きな精度改善や多種のハイパーパラメータへの最適化などの課題が残った。 異なる種類のLLMへの適応など、提案手法には応用や改善の余地が多くあり、今後の研究ではさらなる改良を行っていく予定である。