自律的なPenetration TestのためのLLM Agentの構築と評価

抄録

近年のLLM（Large Language Model）の発展に伴い、様々な分野で自動化や半自動化の応用が進んでいる。一方、セキュリティのように高度な専門性が求められる領域では自動化を行うことが難しく、先行研究でも、ペネトレーションテストにLLMをそのまま適用すると推論能力や対象領域に関する知識の不足により、人間の誘導や修正が頻繁に必要となることが指摘されている。 本研究では、LLMによるペネトレーションテストの自動化を目的に、探索・実行・評価のサイクルを含むテストのシナリオを、LLM Agentの構成を用いて実行可能とするシステムを構築した。また、Self-Refineを用いることで複雑な推論を行い、RAG（Retrieval Augmented Generation）手法を導入することで専門知識を効率的に扱う様にしている。 Hack The Box上の仮想マシンを対象としたテストでは、基本的な戦略の立案から攻撃手法の生成、結果の分析まで大部分をLLM Agentが担い、人間の介入を最低限に抑えられることが示された。