LLMを活用したシンボリックGame AIの構築

大規模言語モデルによる行動評価と評価関数の学習

抄録

エンタテインメント用途のゲームにおいて、ノン・プレイヤー・キャラクター（NPC）のAI（キャラクターAI）には、ゲームルール上の最善手を追及するだけではなく、開発者が定めたキャラクター性を表現するように振る舞うこと（アライメント）が求められる。よって現在は、開発者が振る舞いを理解し制御しやすいように、ビヘイビアツリーなどのシンボリックAI手法を使用することが主流である。もしゲームに強化学習を導入したとすると、アライメントの難しさ、開発時に発生するゲーム環境の変化が課題となり得る。本研究では、この課題を解決するために、シンボリックAIとLLMを融合した新たな行動制御手法を提案する。まず、NPCの仕様、ゲーム内の状況、行動を文章で表現し、これらをLLMで評価することで行動評価データを生成する。生成した評価データをアノテーションデータとして用いて、リアルタイムで作動する小規模の機械学習モデルを構築する。実験では実際のゲームでキャラクターAIの行動ルール・ポリシーを用意し、この手法によるモデルを作成し、ゲーム内で定めた要件に基づいて AI がアクションを選択することが可能であることを検証する。