人工知能学会全国大会論文集
Online ISSN : 2758-7347
第38回 (2024)
セッションID: 4Xin2-43
会議情報

コード生成タスクにおけるプロンプトの指示形式の差異が与える性能分析
*伊東 和香佐藤 美唯髙野 志歩倉光 君郎
著者情報
会議録・要旨集 フリー

詳細
抄録

コードLLMの開発において、instruction tuningがコードLLMの強化に効果的であることがわかっている。instruction tuningは指示を追加学習することで汎化性能を向上させる手法であるが、どのような指示形式が最適であるかについて様々な見解がなされており、明らかになっていない。本研究の目的は、コードLLMのinstruction tuningの効果を高めるため、指示形式の違いがコード生成性能に与える影響の調査を行うことである。指示形式として、コードの抽出に用いられる出力形式に特に着目し、実験を行った。また、実験結果の可視化を行った。結果より、出力形式の違いによるモデルのコード生成の性能差を明らかにし、Markdown形式が最も汎用性に優れていることを明らかにした。また、出力形式の指定なしよりも、出力形式の指定ありの正答率が高いことを明らかにした。

著者関連情報
© 2024 人工知能学会
前の記事 次の記事
feedback
Top