マルチエージェント強化学習による価格交渉対話システムでの利益追求と人らしさの両立

抄録

価格交渉対話は，対話行為や言葉を選ぶかという離散行動と，提案する価格の決定という連続行動を同時に扱う必要がある．先行研究により，言語的なコミュニケーション能力と価格提案戦略をハイブリット強化学習で同時に学習する手法が提案されているが，独自のシュミレータによって実現性が示されたのみであり，現実に即した価格交渉対話への適用は未着手である．我々は，実在の商品に対する人間同士の交渉対話から作成されたCRAIGSLISTBARGAIN datasetに対し，教師あり学習とHybrid Actor-Criticを用いたマルチエージェント強化学習の併用によって，シュミレータを用いずに学習を行った．教師あり学習のみを用いたエージェントとの交渉によって価格提案戦略を，各対話行為の使用割合比較によって人らしさを機械的に評価し，提案方式の有効性を確認した．