動画からオブジェクトの運動特徴量を抽出する教師なし双方向表現学習

抄録

動画データの特性は，各画像が時間連続性をもつことであり，物体の運動やパターンの変化を捉えた情報が含まれている．これを陽に表現・獲得する手法は，動画分類や動画予測にとって有用である．本研究では，動画中に一貫して現れるオブジェクトに対して，オブジェクトの運動情報のみを表現する特徴量を抽出する手法を提案する．提案手法では，オブジェクトに対応する潜在変数とオブジェクトの運動情報に対応する特徴量を用意し，敵対的生成モデルを用いて，データと特徴量との入出力関係を双方向に学習させることで，特徴抽出器とデータ生成器を同時獲得する．実験として，特徴抽出器を用いて動画のクラスタリングを行い，提案手法によって獲得された特徴量がオブジェクトの運動を適切に捉えているかどうかを検証する．