強化学習エージェントにおける観察学習創発の条件の検証

抄録

観察学習とは，他者の行動を観察することで新たな方策を獲得する学習方法である．観察学習が創発するメカニズムや条件は，生物学的アプローチにより研究されてきたが，近年では計算モデルを用いた研究手法に注目が集まっている．しかし，計算モデルを用いた先行研究は，限定的な種類の観察学習を対象にした実験に留まっている．本研究では，より複雑な観察学習が創発する条件について，環境や報酬値などの外的条件と，強化学習エージェントの学習アルゴリズムに関する内的条件の二つの観点から検証した．実験の結果，既存の強化学習アルゴリズムではタスクをほぼ達成できない，高難度の条件下においては，本研究で提案するPT-SEAC，PT-SEACとRNDを組み合わせた手法でのみタスクを達成することができた．この結果から，複雑な観察学習には，観察対象の行動を自身の経験として共有するための認知機能が重要な役割を果たす可能性が示唆された．