服の領域を考慮した写真上の人物の自動着せ替えに関する研究

抄録

本稿では、Generative adversarial networks（GANs）に基づく写真上の自動着せ替えの新しい手法であるSwapGANを提案する。Conditional Analogy GAN（CAGAN）は、GANに基づく自動着せ替えの手法として既に提案されているが、複雑なパターンの服の生成は難しい。衣類の領域を考慮することで、SwapGANはCAGANよりも服のパターンをよりよく反映させることが出来る。このSwapGANは、大規模なデータセットで訓練されたセグメンテーションのモデルを使用してして、写真上の人物の衣服の領域を最初に取得する。次に、取得した領域を用いて衣服部分を人間の画像から除去する。そして、空白領域に所望の衣服を描写する。このようにネットワークは新しい服を人の服の領域に適用出来るようになる。さらに、テスト時にCAGANで必要であった人物が元々着用している服の画像はSwapGANでは不要になる。