深層強化学習に基づくペネトレーションテスト手法の提案

抄録

ペネトレーションテストは機器やシステムに対して様々な技術を駆使して侵入を試みることで，対象のセキュリティ上の脆弱性を検査する手法である．ペネトレーションテスターはシステムレスポンスを基に必要となるコマンドを選び，実行している．この動きはTextWorldといったテキストベースゲームを攻略する手順と類似性がある．そこで，本研究では，Textworldを部分観測マルコフ決定過程 (POMDP) に 基づく深層強化学習で，効率的にゴールを見いだすニューラルエージェントに着目し，そのシステムをベースとしたペネトレーションテスト手法を提案する．また，既存のニューラルエージェントはGRUをベースとして作られているが，本提案手法では，ニューラルエージェントの状態推定を行うモデルに注意機構を内部に持つ GTrXLを導入したシステムを提案する．これらシステムをLinux 等の OS 環境に作用させ， Exploit コマンドを行動集合に持たせ実験を行い，従来のモデルに対する優位性を示すことに成功した．