荷物搬送問題における相対ベクトルを用いたエージェント強化学習によるデッドロック回避の促進とその効果

抄録

本研究では，荷物搬送問題におけるデッドロックの回避および搬送タスク効率の向上を目的として，相対ベクトルに基づくルールを導入した強化学習手法を提案する．本手法では，エージェント間で報酬を共有せず，各エージェントが独立に最適な行動を学習できるよう設計されている．エージェントは現在位置と過去位置から相対ベクトルを生成し，これを活用することで，部分観測環境下でも正確な環境認識と効率的な学習を実現する．実験により，本手法はエージェント間の相互干渉を軽減し，一時的な停止行動の獲得を通じて，搬送タスク遂行効率（荷物搬出量）を向上させる効果があることが確認された．また，一部のエージェントが他のエージェントの通過を優先するような利他的な行動を選択する傾向も観察されたが，これは設計によって明示的に誘導されたものではなく，各エージェントが内部報酬の最適化を通じて自律的に獲得した行動選択の結果である．本研究は，報酬を共有しない分散的な設定においても，強化学習による協調行動の自発的な獲得が可能であることを示し，動的かつ複雑な環境における実用的かつ効率的な学習フレームワークを提案するものである．