深層能動的推論における選好精度に応じた実ロボットの方策選択

抄録

多様な環境で様々なタスクを遂行することができるロボットの実現が望まれている. 本研究ではその実現を目指し, 探索行動と目標指向行動の両方を可能とするメカニズムをロボットに組み込んだ. 具体的には, 自由エネルギー原理に基づく能動的推論に深層学習を応用した深層能動的推論をロボットの行動生成に使用した. 能動的推論において, エージェントは期待自由エネルギーを計算し, それが小さくなる方策を優先的に選択する. 期待自由エネルギーには, エージェントを探索および目標指向に促す項が含まれており, それらのバランスは目標を表現する選好の精度によって決定づけられる. すなわち, 能動的推論エージェントは, 選好精度調整により探索, 目標指向両方の行動を環境に応じて適切に選択することが期待される. 実験においては, ロボットが実行可能な方策を複数個に限定し, 期待自由エネルギーが最小となる方策を選択させた. その際, 世界モデルを利用して未来の感覚状態である観測画像とその隠れ状態を予測し, 期待自由エネルギーを計算した. 結果として, 選好精度の調整によりロボットが探索的行動と目標指向行動を切り替えることが確認された.