主催: 一般社団法人 人工知能学会
会議名: 2021年度人工知能学会全国大会(第35回)
回次: 35
開催地: オンライン
開催日: 2021/06/08 - 2021/06/11
エージェントが得る観測が時間やエージェントの行動に従ってどのように発展するかを記述する世界モデルは,プランニングやサンプル効率の向上,未知のタスクへの高速な適応などの上で重要である.特に近年は機械学習・深層学習を中心としたデータの関係を学習する技術により,真のモデルが未知のような複雑な環境でもモデルを利用するアプローチに関する研究が進んでいる.しかし,世界に関する知識が未完成な中で世界モデルを構築するためのデータをどのように獲得すればよいのかについての議論はあまり行われていない.本研究では,スキルの概念を世界モデルの学習に組み合わせることの有効性について調査する.具体的には,まず世界を探索するようなスキルを教師なし+真の環境とのインタラクションなしで獲得した上で,学習されたスキルに基づいた探索方策により収集されたデータを利用する方法を提案した.評価には代表的な物理シミュレータであるMuJoCoを利用し,ランダムに探索する従来手法と比べてエキスパート起動をより正確に予測する世界モデルが獲得できることを確認した.