少量のペアデータによる言語と動作の双方向変換の学習

抄録

本研究では少量のペアデータを用いた言語指示と動作の双方向変換の実現を目指す．ロボットにとって，言語指示から動作を生成する能力と自身の動作を適切に説明する能力は，日常生活の場で人間と協働するために不可欠である．この時，ロボットは実世界の事物と言語表現を結びつける必要があり，一般にはこれらの完全なペアデータが必要である．機械学習を用いる場合，大規模なデータセットが必要となるが，動作のキャプショニングも動作の収集もいずれも容易ではなく，大量のペアデータを集めることは困難である．そこで本研究では，言語と動作の双方向変換に関する，完全なペアデータを必要としない段階的な学習を提案する．独立した大規模なデータで言語と動作の各Autoencoderを学習後，小規模なデータでそれらの中間表現を結びつける学習制約を含む，モデル全体のfine-tuningを行った．モーションキャプチャによる動作とキャプション文からなる大規模なペアデータセットを用い，言語と動作の相互の生成で評価した結果，ペアデータが少数の場合でも適切な双方向変換が確かめられた．また，提案手法は特に動作生成において有用であることが示唆された．