観測への敵対的摂動を介した模倣学習による深層強化学習エージェントへの標的型操作攻撃

抄録

近年, 深層強化学習の発展により自動運転など様々な分野における活用が期待されている. しかし, 深層強化学習には敵対的攻撃に対する脆弱性が知られており, 実世界への応用のためには強化学習エージェントの頑健性を改善することが求められる. 本研究では脆弱性を調査するために実世界の攻撃を想定した標的型操作攻撃手法を提案する. 攻撃設定として敵対者は攻撃対象エージェントの観測に介入する. 敵対者の目的は攻撃対象エージェントの操作であり, 行わせたい振る舞いを軌跡として表現し, それを模倣する様に攻撃する. 本研究では攻撃者の目的を模倣学習の問題として扱い, 逆強化学習を用いて軌跡を報酬関数に変換したときマルコフ決定過程において通常の方策と同様に学習可能であることを示した. また, 逆強化学習の大きな計算コストを抑えるために, 模倣学習手法の一つであるGAILが本攻撃設定に適応可能であることを理論的に証明し, 攻撃アルゴリズムを示した. 最後に, 強化学習用ベンチマーク MetaWorld における実験によって攻撃性能を評価し, 設定した脅威モデルのもとで標的型操作攻撃が成功することを示した.