自動交渉エージェントのための効用推定に基づく深層強化学習

抄録

マルチエージェントシステムの研究において，自律的に行動するエージェント同士で競合を解消し合意形成を行う手段として自動交渉への関心が高まっている．自動交渉はサプライチェーンマネジメントやスマートグリッドなどの実社会への応用も多く考えられ，人間同士の交渉と比較して交渉に必要な時間・コストを削減するだけでなく社会的により良い合意の形成を行えるという利点もある．一方で，実社会に応用する上での問題点として交渉戦略・交渉シナリオの多様性が挙げられる．この問題を解決するため，様々な交渉戦略・交渉シナリオに対応できる汎用的なエージェントの作成を目的とする． 本研究では汎用的なエージェントを作成する方法として，深層強化学習による手法を提案する．また，深層強化学習を行う環境として，交渉相手の効用関数を推定する効用推定によって推定された推定効用関数を用いて状態を観測する環境を提案する． 交渉シミュレーション実験の結果，提案手法によって学習を行ったエージェントは効用推定を用いずに学習を行ったエージェントと比較して有意に高い個人効用を獲得することが確認された．