サッカーエージェントの攻撃時における評価関数: 方策勾配を用いた教師あり学習

抄録

RoboCupサッカーシミュレーション2Dリーグは，コンピュータ上の仮想フィールドにおいて，敵味方合わせて22人のプレイヤがサッカーを行う競技である．各プレイヤが自律していることから，マルチエージェントシステムのテストベッドとして利用されている．本研究で使用したRoboCupサッカーシミュレーション2Dリーグ用サンプルチームagent2dは，探索木とボールの位置座標に依存した評価関数によって行動を決定する．そこで本研究では，プレイヤの行動の評価項と試合局面の評価項からなる評価関数に変更し，ボールの位置座標によって評価関数中の重み係数を使い分けた．さらに，観戦者から与えられた正解行動を学習するシステムを作成し，学習によってそれぞれの重み係数を変更した．学習の結果，プレイヤが正解行動に一致する行動をとる回数が増え，得点や勝率が大幅に上昇した．