段階的な視覚をもつエージェントにおける強化学習について

―追跡問題を例にして―

抄録

自律的な行動と学習を行うエージェントの研究においては, エージェントの視覚は絶対座標に基づいており, 正確な情報が入る範囲と入らない範囲に明確に分かれていた. 本論文では, 相対座標に基づき, 距離と方向に応じて見え方が変わり, 段階的に大雑把な情報しか得られない視覚を考える. 近傍では正確な情報が入るが, 距離が遠くなると情報が大雑把となり, 記号化された「近距離」や「中距離」であることしか分からず, 見えている対象物の区別もつきにくくなり, 方向も「左」「左前」「前」「右前」「右」と記号化される. これは, 人間の視覚がもつ「距離が大きくなるにつれて見えにくくなる」と「正面はよく見えるが, 左右の方向は見えにくい」という性質を反映させている. そして, マルチエージェントの標準問題としてよく用いられる追跡問題を例題にとり, このような視覚をもつエージェントがQ-learningを基にした強化学習を行うときに, 効果的な学習が行われることをシミュレーションにより示す.