控制每一根线条！

MistoLine：一种多功能且稳健的SDXL-ControlNet模型，适用于灵活的线稿条件控制

MistoLine 是一种 SDXL-ControlNet 模型，能够适应任何形式的线稿输入，展现出极高的准确性和出色的稳定性。它可根据用户提供的多种类型线稿（包括手绘草图、不同 ControlNet 线条预处理器输出、以及模型生成的轮廓线）生成高质量图像（短边大于 1024px）。MistoLine 消除了为不同线稿预处理器选择不同 ControlNet 模型的必要性，因其在多样化的线稿条件下具备强大的泛化能力。

我们通过一种新颖的线稿预处理算法（Anyline），并基于 stabilityai/stable-diffusion-xl-base-1.0 的 U-Net 重新训练 ControlNet 模型，结合大型模型训练工程的创新，开发出了 MistoLine。MistoLine 在各类线稿输入中均展现出卓越性能，在细节还原、提示词对齐和稳定性方面超越了现有的 ControlNet 模型，尤其在更复杂的场景中表现突出。

MistoLine 与 lllyasviel 发布的 ControlNet 架构保持一致，如下示意图所示：

参考：https://github.com/lllyasviel/ControlNet

有关 ControlNet 的更多信息，请参阅以下参考资料：

https://github.com/lllyasviel/ControlNet

https://huggingface.co/docs/diffusers/main/en/api/pipelines/controlnet_sdxl

该模型兼容大多数 SDXL 模型，但不支持 PlaygroundV2.5 和 CosXL。可与 LCM 及其他 ControlNet 模型配合使用。我们已为个人非商业用途开源了相应的模型权重文件。

与不同线稿预处理器结合使用

MistoLine 与其他 ControlNet 模型对比

应用示例

草图渲染

以下案例仅使用 MistoLine 作为 ControlNet：

模型渲染

以下案例仅使用 Anyline 作为预处理器，MistoLine 作为 ControlNet。

ComfyUI 推荐参数：
采样步数：30

CFG：7.0

采样器名称：dpmpp_2m_sde

调度器：karras

去噪强度：0.93

ControlNet 强度：1.0

起始比例：0.0

结束比例：0.9

检查点

• mistoLine_rank256.safetensors：通用版本，适用于 ComfyUI 和 AUTOMATIC1111-WebUI。

• mistoLine_fp16.safetensors：FP16 权重，适用于 ComfyUI 和 AUTOMATIC1111-WebUI。

ComfyUI 使用方法

中国（大陆地区）便捷下载地址：

链接：https://pan.baidu.com/s/1DbZWmGJ40Uzr3Iz9RNBG_w?pwd=8mzs

提取码：8mzs

引用
@misc{

title={Adding Conditional Control to Text-to-Image Diffusion Models},

author={Lvmin Zhang, Anyi Rao, Maneesh Agrawala},

year={2023},

eprint={2302.05543},

archivePrefix={arXiv},

primaryClass={cs.CV}

}