縫合自動化に向けたマルチモーダルNewtonianVAEに基づく高精度位置決め手法

抄録

高精度な制御の実現は，医療現場におけるロボット制御において必要不可欠である．そこで，本研究は世界モデルの一種であるNewtonianVAEを用いて，高精度な制御を行うことを目指す．このためには，複数のモダリティ情報を用いることで，環境を正確に表現した潜在空間を獲得することが求められる．しかし，これまでにNewtonianVAEを用いた複数のモダリティ情報の学習は行われてこなかった．そのため，本研究はNewtonianVAEで複数の観測情報を学習するために，Mixture-of-Products-of-Experts (MoPoE) を用いて複数の観測情報の潜在表現を統合するMulti-modal NewtonianVAE (MNVAE) を検討する．実験では，目標位置までの制御を行う位置決めタスクを行い，MNVAEを用いた3次元制御の有効性を検証した．