主催: 一般社団法人 人工知能学会
会議名: 2024年度人工知能学会全国大会(第38回)
回次: 38
開催地: アクトシティ浜松+オンライン
開催日: 2024/05/28 - 2024/05/31
コードLLMの開発において、instruction tuningがコードLLMの強化に効果的であることがわかっている。instruction tuningは指示を追加学習することで汎化性能を向上させる手法であるが、どのような指示形式が最適であるかについて様々な見解がなされており、明らかになっていない。本研究の目的は、コードLLMのinstruction tuningの効果を高めるため、指示形式の違いがコード生成性能に与える影響の調査を行うことである。指示形式として、コードの抽出に用いられる出力形式に特に着目し、実験を行った。また、実験結果の可視化を行った。結果より、出力形式の違いによるモデルのコード生成の性能差を明らかにし、Markdown形式が最も汎用性に優れていることを明らかにした。また、出力形式の指定なしよりも、出力形式の指定ありの正答率が高いことを明らかにした。