CLIP に基づくゲームバグ検知のためのWordNet を用いたバグテキスト生成手法

抄録

人間のデバッガーの代わりにバグを検知可能なAI を構築するため、プレイ動画に加えてバグを表すテキスト（バグテキスト）を入力し、OpenAI のCLIP で言語・画像間の類似度を算出することで、バグが発生している可能性が高いフレーム画像を検知できるのではないかと考えた。しかしながら、既存手法では、バグテキストを予め手動で与える必要があった。そこで本稿では、ゲーム中のオブジェクトが物理法則に反するバグに限定し、物体検知やWordNet、Concep tN et等を用いて、プレイ画面とともにCLIP への入力であるバグテキストを生成する手法を試作し、その性能を検証する。