形状およびテクスチャ特徴の再構成に基づく人物再同定

抄録

複数のカメラで撮影された人物画像から同一人物を見つける人物再同定において、多様な姿勢や服装の変化への対処が実用化における課題として挙げられている。しかし、人物画像の見え方に強く影響を受ける既存の深層学習手法には、姿勢や服装に依存しない人物特徴の抽出に課題がある。この課題を解決するため、人物画像からの3DCG人物合成に用いられる形状とテクスチャ特徴を再構成するネットワークを、人物再同定のための人物特徴抽出ネットワークと同時に学習するモデルを提案する。提案モデルはOSNetをベースとし、形状特徴再構成モジュール、テクスチャ再構成モジュール、及び人物再同定モジュールで構成される。モデルの学習は、(1)人物合成データセットを用いた形状とテクスチャ特徴の学習と、(2)人物再同定データセットを用いた人物特徴の学習の2段階で行われる。(2)を行う際、(1)の学習済みモデルと人物再同定データセットを用いて出力された形状とテクスチャ特徴を、疑似教師データとして使用する。服装の変化が考慮されたLTCCデータセットと、姿勢の変化を考慮するために再構築したデータセットで、提案モデルの変化への頑強さを評価する。