人工市場を用いた強化学習エージェントによる仮装売買の学習条件の分析

抄録

本研究では，作成者が意図せずにAIが違法取引を行うかの議論として，強化学習を用いたAIが人工市場において仮装売買を行うかどうかを検証した．仮装売買とは，同一人物が権利の移転を目的とせず，同一の有価証券について，同時期に同価格で売りと買いの注文を発注することであり，価格や出来高を操作することを目的とした違法取引である．本研究では，経済実証研究で確認された典型的な投資行動をモデル化したFCNエージェントと，強化学習を用いて取引戦略を学習するRLエージェントを人工市場に再現してシミュレーションを行った．検証結果として，AIは仮装売買ではなく，買い注文を継続的に行って市場価格を釣り上げる買い上がりという相場操縦戦略を学習することがわかった．買い上がり戦略は学習が仮装売買に比べ簡単であり，また，利益を確実に得ていることも確認されたため，本研究では買い上がり戦略が学習されたものだと考えられる．また，AIが出す注文の指値が仲値から大きく離れない方が，約定する機会が多くなり，相場操縦戦略を学習しやすいという結果も得られた．