エージェント間の公平性を伴うマルチエージェント強化学習の非集中型解法のための一検討

抄録

マルチエージェント強化学習におけるエージェント間の公平性の改善は実際的な領域において重要である． 従来研究では，多目的強化学習のアプローチに基づき各エージェントの行動コストの削減とそれらの公平性の改善を目標とする集中型の解法が提案されている. しかし，基礎検討として，全エージェントの結合状態および結合行動についての空間においてQ学習を拡張した手法を適用しているため，状態行動空間の規模が比較的大きく， エージェント間での問題の分割を伴う，非集中型解法の適用における最適化指標の設定およびエージェント間の情報分割と協調に検討の余地がある． 本研究では，従来手法をエージェント間の交渉を伴う非集中型解法の枠組みに適用するための方法の基礎検討として， 従来手法における全エージェントの結合状態と結合行動からなる空間上のコスト値の学習表を， エージェントの各ペア間の結合状態行動空間に分解して扱う手法について検討し，例題を用いてその影響を評価し課題について述べる．