テキストプロンプトによるデザイン変更が可能な試着画像生成

抄録

EC市場の拡大に伴い実店舗を介さない衣服の流通も増加しているが、衣服等は他のカテゴリに比べて返品率が高くなっている。その対策として仮想的な試着画像を生成する研究が継続して行われている。一方で衣服のデザインの補助を目的として、対象の衣服の画像ではなく、自然言語によって衣服を指定する研究も少数存在する。本研究では衣服のデザインの補助や探索のアプローチの一つとして、既存の衣服の改変や派生の探索を補助することを目的とする。Stable Diffusionをベースとしtext-to-imageとして試着画像生成モデルを構築することで言語能力を保つ。既存のcross attentionを衣服に流用するのではなく、新しく衣服情報を受け入れるTransformerのデコーダブロックを挿入することにより、試着画像生成モデルとしての競争性を持ちながら自然言語による改変が可能になることを示す。本研究のモデルは公開されているデータセットを用いて生成する試着画像の定量評価を行う。また既存の商品を元にしたデザインの補助、背景の指示が可能な試着画像の生成の例を挙げる。