拡散モデル（diffusion model）は、画像に少しずつノイズを足していく過程の逆向きをたどるように学習したモデルです。生成の時は、ノイズだけの状態から少しずつノイズを取り除いて画像を作ります。DDPM の論文（Denoising Diffusion Probabilistic Models、2020 年）がこの方法で高い品質の画像を示し、SDXL（Stable Diffusion XL）もこの仕組みで動いています。 ...
img2img（image-to-image）は、文字のプロンプトだけでなく、下絵の画像も入力にして絵を描かせる画像生成の使い方です。下絵にノイズを足してから取り除く仕組みは、SDEdit の論文が示した手法に基づいています。下絵をどれだけ描き直すかを 0〜1 の値で指定し、この値を denoise（ノイズ除去の強さ、Stable Diffusion web UI では denoising strength）と呼びます。0 に近いほど下絵のまま、1 に近いほど下絵から離れた絵になります。 ...
ControlNet は、学習済みの画像生成モデルに、骨格・奥行き・輪郭などの画像を形の条件として渡す仕組みです。ControlNet の論文（2023 年）で提案され、著者の実装は lllyasviel/ControlNet で公開されています。文面（プロンプト）だけでは決まらない人物の姿勢や構図も、画像で指定できます。 ...