大規模言語モデルとの併用による検索ベーステストのカバレッジ向上

抄録

本研究は，検索ベースソフトウェアテスト(SBST)ツールであるPynguinと，大規模言語モデル(LLM)であるChatGPTを連携させることで，生成AIによるテスト生成におけるカバレッジを向上させる手法を提案する，本手法は，Pynguinのカバーできていない箇所を分析し，その情報を基にLLMが補完的なテストを生成するものである．30個のPythonモジュールコードを対象とした評価実験において，提案手法はPynguin単体と比較して行カバレッジを平均で19.5％，ChatGPT単体と比較して分岐カバレッジを平均7.9％向上させた．これは，SBSTとLLMがテスト生成において相補的な関係にあることを示すものである．