ControlNeXt

---

🤖 Github | 📝 项目页面 | 📚 论文 | 🗂️ Demo (SDXL)

---

ControlNeXt 是我们用于可控生成的官方实现，支持图像和视频，并融合多种控制信息形式。在本项目中，我们提出了一种新方法，相比 ControlNet 可减少高达 90% 的可训练参数，实现更快的收敛和卓越的效率。该方法可直接与其他 LoRA 技术结合，以改变风格并确保更稳定的生成效果。更多细节请参见示例。

我们提供了 ControlNeXt-SDXL 的在线演示。由于 SVD 对资源需求较高，我们无法提供在线版本。

🎥 示例

---

🛠️ 使用方法

---

🚀 快速开始

---

此处以 ControlNeXt-SDXL AnimeCanny 为例。

首先，请确保您已安装 Python（既然您在使用 AI，这应该是默认前提）。

打开终端并运行以下命令克隆我们的 GitHub 仓库：

git clone https://github.com/dvlab-research/ControlNeXt
cd ControlNeXt/ControlNeXt-SDXL

然后安装所需依赖包：

pip install -r requirements.txt

（可选）下载 LoRA 权重，例如 Amiya (明日方舟) 清新艺术风格，并将其放入 lora/ 目录（或您喜欢的其他目录）。

最后，运行示例：

bash examples/anime_canny/run.sh

如果您自行下载模型，可修改 bash 脚本：

# examples/anime_canny/run.sh
python run_controlnext.py --pretrained_model_name_or_path "neta-art/neta-xl-2.0" \
  --unet_model_name_or_path "Eugeoter/controlnext-sdxl-anime-canny" \ # Huggingface 仓库 ID 或本地 ControlNeXt UNet 模型路径。
  --controlnet_model_name_or_path "Eugeoter/controlnext-sdxl-anime-canny" \ # Huggingface 仓库 ID 或本地 ControlNeXt ControlNet 模型路径。
  --controlnet_scale 1.0 \ # 用于调整控制条件强度的 ControlNet 缩放系数
  --vae_model_name_or_path "madebyollin/sdxl-vae-fp16-fix" \
  --validation_prompt "3d 风格，写实风格，1个女孩，明日方舟，Amiya（明日方舟），单人，白色背景，上半身，直视观众，脸红，闭嘴，低马尾，黑色夹克，带帽夹克，敞开夹克，帽子下垂，蓝色颈饰" \
  --negative_prompt "最差画质，抽象，姿势笨拙，变形的手，手指粘连，多余手指，手指缺失，多余手臂，手臂缺失，多余腿部，腿部缺失，签名，艺术家名，多视角，畸形，丑陋" \
  --validation_image "examples/anime_canny/condition_0.png" \ # 输入的 Canny 图像
  --output_dir "examples/anime_canny" \
  --load_weight_increasement # 加载权重增量

📝 更多

---

如需更多信息和示例，请访问我们的 GitHub 项目页面。