機械学習を用いた実世界理解は近年の重要な課題の1つである。ヒトは実世界を認識し理解するために、視覚から得られる連続的な情報を離散的に切り分けて取り込む。Variational Temporal Abstraction (VTA)[Kim et al.,2019]は、視覚情報から環境の移り変わりを潜在構造として抽出するモデルである。しかしVTAは画像の特徴量の変化点を抽出したものに基づき構造化を行っており、画像内における物体の物理的な動作特性などを考慮したヒトが行うような認識を表現したモデルとは言い難い。 そこで本研究では、ヒトが行うような物体動作認識に基づく環境認識を実現するために、物体間の動作特性の関係をグラフ構造として表現し、環境の変化に対する変局点を抽出できるようVTAの改良を試みた。また変化点として抽出されたグラフが物体の衝突や消滅、停止を正しく判定しているかについて、精度の検証を行った。
