キャプチャデータからのテスト条件抽出に基づくOSS Webアプリのテストセットの評価と強化

抄録

本論文では，OSSのWebアプリの運用時の使われ方に基づいて，付属するテストセットの網羅性を評価し，テスト条件漏れが減るように対話的に強化する手法を提案する．多種多様な提供機能を持つOSSのWebアプリでは，テストされない運用時だけの機能の使われ方が多数生じてしまう．HTTP通信のキャプチャ＆リプレイを用いると，運用時に生じた使われ方を再現することができる．しかし，既存のテストセットではテストされない運用時だけの使われ方を膨大なキャプチャデータから発見し，新たなテストケースとして整備する作業は，依然として難しい．そこで，提案手法では，テスト時と運用時に採取したキャプチャデータから，提供機能の使われ方を表すテスト条件を抽出しまとまった一覧表の形に集計・可視化することで，テストされない運用時だけの使われ方を効率的に発見・理解させる．テスト担当者は，次のアプリ改版時にテストすべきテスト条件を選択し，対応するリプレイスクリプトを自動生成することで，テスト条件漏れを減らしていける．OSSのWebアプリとその運用48日分のキャプチャデータを用いたケーススタディを実施し，提案手法の有用性を確認した．