大規模言語モデルによるシステム仕様情報を取り入れたソフトウェアテスト生成および生成結果の採用可能性評価

抄録

DXに代表されるITシステムの社会適用促進に伴い、ソフトウェアの信頼性向上に対する関心が高まっている. ソフトウェアの信頼性向上のためにはシステムの仕様に則したテストの実施が必要であるが、テストするべき項目が多様かつ膨大であること、事前情報として大量のシステム仕様情報の理解が要求されることが障害となり、従来は人間のエキスパートによる長時間の作業が不可欠であった。本研究では, 近年急速な発展を遂げている大規模言語モデルを用いて, システム仕様情報を取り入れたソフトウェアテスト生成モデルを開発した. 我々が開発したモデルでは、GPT4のようなクローズドモデルではなくオープンソースモデルの活用およびプロンプトに用いるシステム仕様情報の効率的な取捨選択によって推論の低コスト化を実現し、人間のエキスパートの感覚に近い新しい評価指標の学習に基づく採用可能性評価の付与によって、より実務適用への障壁を小さくすることを可能にした。実際にテスト設計に使われたデータを用いた実験の結果、GPT4による生成結果と比較し、高精度かつより低コストなテストケース生成を行うことに成功した。