Difference ControlNets

オリジナル ControlNet 差分モデル HuggingFace リポジトリ

停止！これらのモデルはプロンプト/画像生成用ではありません。安定した拡散1.5ベースモデル（SD 2.X以外は大部分のモデル）での使用を目的としたコントロールネットワークとしてご使用ください。/model/9251/controlnet-pre-trained-models で共有されているモデルは、ベースのSD 1.5モデル用のControlNetであり、差分モデルではありません。

ControlNetは、既存の画像を前処理することで、画像の構造をガイドするか、指定されたControlNetに合った形式の画像を使用することで、画像の構造を制御できます。ControlNetおよびその種類についての詳細情報は、https://github.com/lllyasviel/ControlNet をご参照ください。

すべてのサンプルは、プリプロセッサを使用して生成されており、AbyssOrangeMix2 - Hardcoreモデルにより生成され、使用したプロンプトは入力元の画像と同じですが、シード値は異なります。指定がない限りすべての設定はデフォルト値です。キャンバス幅は入力画像に合わせて512 x 768に設定されています。

使用したいモデルだけをダウンロードすればよく、すべてをダウンロードする必要はありません。

これらは ControlNet拡張 で使用するために、Safetensor形式に変換され、「プルーニング（簡略化）」処理によりControlNetニューラルネットワークのみを抽出したモデルです。AOM2にてテスト済みで正常に動作します。これらのモデルをダウンロードし、\stable-diffusion-webui\extensions\sd-webui-controlnet\models ディレクトリに配置してください。

図はKohyaが共有したもので、オリジナルのControlNetモデルと差分モデルの違いを視覚的に説明しようとしています。