拡散モデルにおけるAttentionを制御したイラストからのファサード画像の生成と編集

抄録

建物のファサードデザインを決定するにあたり、建築設計者は複数のアイディアを検討し、新しいデザインを生み出すために多大な労力と時間を要している。一方、画像生成の技術は近年大きく発展しており、特にSDEditといった手法は、テキストから画像を生成する拡散モデルと組み合わせることで、簡素なイラスト画像から高品質かつクリエイティブな画像を生成することができる。しかし、この手法ではイラスト内の色とテキストの関係を結びつけることが難しく、ガラス、金属、石材など様々な材料で構成されるファサードデザイン画像を意図通りに生成・編集することは困難である。そこで我々は、色とテキストの関係を結びつけた、ファサードデザインの生成・編集手法を提案する。具体的には、学習済み拡散モデル内で使用されるAttention機構において、イラスト内の各色によって単語の重要度を変化させ、編集箇所によって参照テキスト先を切り替えることで実現する。検証から、提案手法は事前に指定したイラスト内の色とテキスト情報を十分に反映し、従来手法と比べて、より使用者の意図に沿った画像生成と編集が可能であることがわかった。