状態表現の階層性を考慮した深層状態空間モデルによる行動条件付き映像予測

抄録

深層状態空間モデル(SSM)は環境のダイナミクスを学習するモデルとして強化学習などの分野で用いられているが，複雑なデータに対してSSMを用いる際，複雑なダイナミクスを捉えられるようにモデルの状態変数を高次元にしても学習が適切に進まない，あるいは悪化する場合がある．これは高次元の状態変数の遷移先を推論するには情報が不足していて，学習時に状態変数の事前分布と事後分布が近づきにくいことが原因であると考えられる．本研究では高次元の状態変数を持つSSMの遷移時に低次元の状態変数を持つSSMで予め学習された低次元の状態表現を利用するような階層構造を持つSSMを提案する．これにより中心的な状態表現から順に学習されることが期待され，高次元の状態変数の遷移を低次元の状態表現で補助することで高次元の状態変数の学習を可能にし，より豊かな状態表現の獲得が可能になる．評価実験ではBAIR Push Datasetを使いSSMを用いた行動条件付き映像予測のタスクを行い，高精度な映像予測が可能になることを示す．