Few-shotによるText-to-Image Diffusion Modelsからの概念消去

抄録

ウェブ上の非常に多くのデータを学習したText-to-Image Diffusion Modelsは様々な条件に沿った高品質な画像を生成することが可能である一方で、不適当な画像が生成されることもある。そのような問題の対処法として生成モデルから特定の概念を消去する手法が研究されている。我々は、これまでのU-Netではなくtext encoderをfine-tuningする手法を提案する。この手法は、モデルの生成能力 (image fidelity)を低下させずに概念の消去をk-shotで行う。実験では、指定した実在の概念が生成されにくいことを確認した。また、これまでの手法では対象の概念がどのようにモデル内部で変化するかを人間が制御する必要があったが、提案手法ではモデル内部の知識や画像の知識を使っていると考えられる結果が得られた。