Controlnet

ControlNet は、画像生成のモデルに形を指定する画像を渡す仕組みです。渡す画像の 1 つが深度マップ（depth map）です。カメラからの距離を明るさで表した白黒の画像で、手前ほど明るくなります。3D の人形にポーズを付けて深度マップを書き出せば、文面（プロンプト）だけでは決まらない姿勢を指定できます。 ...

ControlNet は、学習済みの画像生成モデルに、骨格・深度マップ・輪郭などの画像を形の条件として渡す仕組みです。深度マップ（depth map）は、カメラからの距離を明るさで表した白黒の画像で、手前ほど明るくなります。ControlNet の論文（2023 年）で提案され、論文の著者による実装は lllyasviel/ControlNet で公開されています。文面（プロンプト）だけでは決まらない人物の姿勢や構図も、画像で指定できます。 ...

キャラクターの一貫性（character consistency）は、画像生成で表情・ポーズ・場面を変えながら同じキャラクターを何枚も描いた時に、顔立ち・髪型・服が同じ人物に見えることを指します。ゲームの立ち絵と表情差分、漫画のコマ、物語の挿絵のように、1 人を何度も登場させる用途で必要になります。 ...