逆翻訳によるコード文書生成の実行ベース評価法

抄録

ソフトウェア開発において，コード文書はソフトウェアの理解と維持に必要不可欠である．人手によるコード文書の作成と維持にはコストがかかるため，LLMを用いたコード文書の自動生成が期待されている．しかし，従来の字句ベース評価では意味的な解釈を考慮できず，参照テキストの準備にも高いコストがかかるという課題がある． この課題を解決するため，本研究では逆翻訳による実行ベース評価法を提案する．提案手法では生成されたコード文書からコードを逆翻訳し，その実行結果をベースにコード文書の評価を行う．このプロセスにより，意味的な解釈や同義語，表現の多様性を含む評価が可能となる． 本稿では，提案手法を実装した自動評価ツールlm-chaineval-harnessの紹介と，提案手法の検証実験について報告する．我々の開発するlm-chaineval-harnessでは，ユーザーが手軽に評価を行える環境を提供する．実験から，提案手法は従来の字句ベース評価と比較して，意味的な解釈を含めた評価が可能であり，同義語や表現の多様性を考慮できることが定性的に示された．