あらゆる線を制御しよう！

MistoLine：柔軟で堅牢なSDXL-ControlNetモデル、あらゆる線画の条件付けに対応

MistoLineは、あらゆる種類の線画入力に適応できるSDXL-ControlNetモデルで、高精度かつ優れた安定性を発揮します。手描きスケッチ、異なるControlNet線画プリプロセッサ、モデル生成の輪郭など、多様な線画に基づいて、短辺が1024pxを超える高品質な画像を生成できます。MistoLineは、異なる線画プリプロセッサごとに異なるControlNetモデルを選択する必要を排除し、多様な線画条件に対して強力な汎化能力を示します。

私たちは、独自の線画プリプロセッシングアルゴリズム（Anyline）を採用し、stabilityai/stable-diffusion-xl-base-1.0のU-NetをベースにControlNetモデルを再学習し、大規模モデル学習エンジニアリングの革新を加えることで、MistoLineを開発しました。MistoLineは、さまざまな線画入力に対して優れた性能を発揮し、細部の再現性、プロンプトの整合性、安定性の面で既存のControlNetモデルを上回ります。特に複雑なシナリオにおいてその優位性が顕著です。

MistoLineは、lllyasvielが公開したControlNetアーキテクチャと整合性を持っています。以下のスキーマ図をご覧ください：

参照：https://github.com/lllyasviel/ControlNet

ControlNetに関する詳細情報は、以下のリファレンスをご覧ください：

https://github.com/lllyasviel/ControlNet

https://huggingface.co/docs/diffusers/main/en/api/pipelines/controlnet_sdxl

このモデルは、PlaygroundV2.5およびCosXLを除くほとんどのSDXLモデルと互換性があります。LCMや他のControlNetモデルと併用することも可能です。個人利用向けに、非営利目的でモデルの重みファイルをオープンソース化しました。

異なる線画プリプロセッサでの適用

MistoLineと他のControlNetの比較

適用例

スケッチレンダリング

以下の例では、MistoLineのみをControlNetとして使用しました：

モデルレンダリング

以下の例では、Anylineをプリプロセッサ、MistoLineをControlNetとして使用しました。

ComfyUI推奨パラメータ：
サンプリングステップ：30
CFG：7.0
サンプラー名：dpmpp_2m_sde
スケジューラ：karras
ノイズ削減率：0.93
ControlNet強度：1.0
開始割合：0.0
終了割合：0.9

チェックポイント

• mistoLine_rank256.safetensors：汎用版、ComfyUI および AUTOMATIC1111-WebUI用
• mistoLine_fp16.safetensors：FP16重み版、ComfyUI および AUTOMATIC1111-WebUI用

ComfyUIでの使用方法

中国（中国本土）での簡単ダウンロード先：

リンク：https://pan.baidu.com/s/1DbZWmGJ40Uzr3Iz9RNBG_w?pwd=8mzs
抽出コード：8mzs

引用
@misc{

title={Adding Conditional Control to Text-to-Image Diffusion Models},

author={Lvmin Zhang, Anyi Rao, Maneesh Agrawala},

year={2023},

eprint={2302.05543},

archivePrefix={arXiv},

primaryClass={cs.CV}

}