共有表現の学習によるロボット動作と指示説明文の双方向変換

抄録

本研究は，ロボットが (1)言語指示に応えて動作を生成する能力と，(2)自身の動作からその説明文を生成する能力の，双方を対データから学習するニューラルネットワークモデルおよび学習アルゴリズムを提案する．モデルは2つのRecurrent Autoencoder (RAE)からなり，一方は単語シーケンスを，他方は動作シーケンスを，固定次元のベクトル表現に埋め込むことを学習する． 学習後のRAEは，この固定次元ベクトルから元のシーケンスを再生成することが可能である．提案モデルは，学習時に，互いに対となる文章と動作の表現同士が，表現ベクトル空間上で近くなるように拘束する損失関数を設ける．これにより共有された表現を通して，ロボット動作と言語指示説明文を相互に変換することが可能となる．評価のため，３単語の文章とロボットの動作を，その時の視覚入力に応じて相互に変換する学習実験を行ったところ，モデルはこれを正しく学習することができた．またベクトル表現の空間を主成分分析によって可視化したところ，ロボットの動作とそれに対応する文章が，意味的にグラウンドされる形で表現されていることが分かった．