人間は世界を知覚する際、視覚情報を空間的かつ時間的に分離していると考えられており、深層学習においても同様にもつれを解いた意味ある表現を獲得することは、予測および計画において重要である。近年の研究では、複数オブジェクトから構成されるシーンから物体ごとの表現をそれぞれ獲得し、その相互作用を予測できるモデルが提案されているが、その汎化能力はまだ高いとはいえない。この論文では、物体ごとの表現を、行動に条件づけることで、時間方向に局所的な潜在変数と時間不変な大域的な潜在変数にdisentangleするモデルを提案する。実験を通して、うまくもつれを解いた表現を獲得できていることに加えて、この表現がオブジェクト・セントリックなプランニングや未知の物体や相互作用の組み合わせに対してうまく汎化できるかを検証する。
