拡散モデル（diffusion model）は、画像に少しずつノイズを足していく過程を、逆向きにたどるように学習したモデルです。生成の時は、ノイズだけの状態から少しずつノイズを取り除いて画像を作ります。DDPM の論文（Denoising Diffusion Probabilistic Models、2020 年）がこの方法で高い品質の画像を示し、SDXL（Stable Diffusion XL）もこの仕組みで動いています。 ...
LoRA（Low-Rank Adaptation）は、学習済みモデルの重み行列 W を書き換えずに、W に足す差分だけを 2 つの細長い行列 B と A の積として学習する手法です。Hu 氏らの論文（2021 年）は大規模言語モデルの追加学習を対象にしていましたが、現在は画像生成モデルに画風やキャラクターを足すファイルの形式としても広く使われています。 ...
masterpiece, best quality, no humans, still life, (blue ceramic teapot:1.4), lemons, glass bottle 上記は、画像生成のプロンプトの 1 行です。(blue ceramic teapot:1.4) の括弧と数字が、Prompt Weighting（プロンプトの重み付け）の書式で、括弧で囲んだ語の効き具合を 1.4 倍に強める、という意味で書きます。描きたくないものを並べる打ち消し（ネガティブプロンプト）にも、同じ書式で重みを付けられます。 ...
img2img（image-to-image）は、文字のプロンプトだけでなく、下絵の画像も入力にして絵を描かせる画像生成の使い方です。下絵にノイズを足してから取り除く仕組みは、SDEdit の論文が示した手法に基づいています。下絵をどれだけ描き直すかを 0〜1 の値で指定し、この値を denoise（ノイズ除去の強さ、Stable Diffusion web UI では denoising strength）と呼びます。0 に近いほど下絵のまま、1 に近いほど下絵から離れた絵になります。 ...
生成した画像を自動で検品する時、検査の段を足すほど、人の所に届く絵の品質は上がると考えがちです。しかし、どの検査も一定の割合で正しい絵を誤って落とします。段を重ねると、この誤りは掛け算で積み上がります。以下は、正しい絵を 5% だけ誤って落とす検査を 5 段重ねた時に、正しい絵がどれだけ残るかを描いた図です。 ...
black hair, aqua eyes と書けば、青緑（aqua）は目にだけ付くと思うかもしれません。英語の文法でも、aqua は隣の eyes に掛かります。しかし、手元の画像生成モデルで seed だけを 12 通りに変えて生成すると、12 枚全てで髪の光沢や毛先まで青緑になりました。 ...