人間プレイヤとPolicy Ensembleによる格闘ゲームAIの共有制御

抄録

近年, 強化学習では, ゲームの攻略以外の分野が注目されるようになった. 例えば, 人と協力するゲームAIの研究では, 主にマルチプレイヤゲームが対象にされている. しかし, 1体のキャラクタを人とAIで操作する協力タスクは広く扱われていない. 本研究では, 格闘ゲームのキャラクタを人と AIで協力して操作するタスクを扱う. 我々はこれまでに, 格闘ゲームで人をサポートする AI (サポートAI)を提案した. しかし, サポートAI 学習時のプレイヤを1体のランダムプレイヤのみとしたため, 初めて協力する人とうまく協力ができなかったという課題があった. そこで, 本研究では, サポートAIの学習時に異なる3 タイプのプレイヤによるPolicy Ensembleを使用した. これらのプレイヤは, ランダムプレイヤではなく,各々異なる報酬で学習した, 攻撃, バランス, 防御タイプのAIである. 実験では, サポートAI を被験者に使用してもらい, 主観評価やゲームスコアを測定した. 結果として提案手法のAIとの協力時の楽しさや助けてもらった度合についての評価は大きく変わらなかったが,非邪魔度合の評価は上がり,ゲームスコアは,最大値の7.7%上昇した.