Stable Diffusionを用いたファサードデザインの編集

抄録

設計者によるファサードデザインの考案には、自己のデザインによるベースとなる案を作り、そこから顧客の要望などを取り入れつつデザインを昇華させていくというフローがある。現在の画像編集技術は 逆変換モデルによって潜在表現を獲得して編集を行なう GAN ベースのものが主流である が、近年 Diffusion Model を用いた研究が台頭して来ている。特に潜在空間を対象にしているLatent Diffusion Model(あるいはそれを基にした Stable Diffusion)は、モデルが扱いやすい上に精度が高い。本研究では Stable Diffusion に Attention を用いたレイアウト指定、および CLIP の出力変換機構を併用することで細部に狙った画像編集を、簡単なプロンプトのみで達成するシステムを提案する。実設計者による評価を通し、提案手法の有用性と今後の課題を確認した。