ゼロショット動画生成のための条件付きMoCoGAN

抄録

本稿では，ゼロショット動画生成のためのGenerative Adversarial Nets (GANs)を提案する．ゼロショット動画生成は，訓練データに含まれないクラスの動画を生成する．例えば，ある人の歩行動画と別の人のダンス動画だけが訓練データに含まれているとき，前者の人物がダンスをしている動画を生成するタスクである．これを実現するために，GANsの潜在空間を人物や人物動作などのクラスごとに分解し，GANsを制御する方法を提案する．提案手法では，潜在空間を動きと内容に分解するMotion and Content Decomposed GANに対して，動きと内容に関するより詳細なクラス情報を与えることで潜在空間を細分化している．これにより，GANsの制御性が高まり，訓練データに含まれないクラスで条件付けることでゼロショット動画生成を実現している．実験では，色付きMNISTとWeizmann action databaseを用いて，ゼロショット動画生成の結果を評価し，提案手法の有効性を示している．