Flux-1.dev.fp8 + ControlNet Canny

在撰写本指南时，目前仅能通过将 ComfyUI 从 master 分支切换至 xlabs_flux_controlnet 分支来尝试使用 ControlNet Canny。

让我们先看前提条件：

前提条件

• 获取并更新所有自定义节点
• 通过 ComfyUI 管理器更新 ComfyUI
• 通过 ComfyUI 管理器安装缺失的自定义节点并重启

工作原理

所需文件

• 下载 UNET flux-dev-fp8 https://huggingface.co/Comfy-Org/flux1-dev/blob/main/flux1-dev-fp8.safetensors，保存至 models/unet（仅此版本可用，不可使用 xlabs.ai 或其他版本）
• 下载 VAE ae 模型 https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.safetensors，保存至 models/vae
• 下载 CLIPS： t5xxl_fp16.safetensors clip_l.safetensors

（若您的机器 TVT 内存少于 32GB，可选）t5xxl_fp8_e4m3fn.safetensors

地址：https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

将它们保存至 ComfyUI/models/clip/

1 UNET + CLIP - 组

• 1 我们加载 flux1-dev-fp8.safetensors（目前唯一可用版本，Comfy.org）https://huggingface.co/Comfy-Org/flux1-dev/blob/main/flux1-dev-fp8.safetensors，以及用于 Flux-1 的双 CLIP 加载器。
• 2 选择 1 仅使用 UNET；选择 2 使用 UNET + flux_realism_lora
• 3 通过 SetNode 设置若干全局变量，以避免节点连线杂乱。

2 基础图像 - 组

• 1 加载您的基础图像

3 提示词 - 组

• 1 通过 Florence2 将图像转为文本
• 2 使用 String Function 将 Florence 的标题与通用提示词拼接，并传入条件全局变量 PROMPT_POS-COND

4 CNET - 组（ControlNet）

• 选择 1 仅使用提示词，或选择 2 使用提示词 + Canny ControlNet

几点注意事项

种子值：688106326432651

Cnet 0.76：面部朝向镜头，图像效果依然良好
Cnet 0.77：头部略微上抬，图像效果依然良好
Cnet 0.78：ControlNet 强烈介入，导致手臂变形

LoRA：
请保持低强度，因其效果极强

衷心感谢 u/comfyanoymus 以及出色的 Comfy.org 项目与社区