Flux1 Dev Consistent Character - Fast Generation (PuLID, Controlnet, Torch Compile)

详情

模型描述

此工作流可在4060Ti显卡上以1.15秒/次的速度生成具有统一角色的Flux图像(在第二代及以上显卡上,若启用了模型编译)。此工作流需要16GB显存。它使用fp8 Flux模型,因为gguf模式与torch.compile兼容性不佳。如果您遇到错误,请根据以下说明配置环境。

  • PuLID用于保持角色一致性。请注意,用户反馈PuLID在AI生成的角色上表现良好,但在真实照片上效果不佳。

  • FLUX.1-dev-ControlNet-Union-Pro控制网络(在16GB显存下使用ControlNet时,需使用Q2_k Flux GGUF模型)

  • TorchCompileModel beta节点,配合Kijai的补丁,用于编译模型,这将增加首次生成所需时间,但可加速后续生成。

  • weight_dtype 设置为 fp8_e4m3fn_fast,以利用fp8矩阵乘法,从而在NVIDIA 40系列显卡上实现更快生成。若您使用的是较旧显卡,请选择 fp8_e4m3fn。

环境配置

我已在以下确切环境中测试过此工作流,如遇问题,请按以下步骤配置环境:

  1. 下载并安装 Python 3.10.11(https://www.python.org/downloads/

  2. 下载并安装 Cuda 12.4(https://developer.nvidia.com/cuda-12-4-0-download-archive)和 cuDNN 版本 Tarball(CUDA 12 版本)(https://developer.nvidia.com/cudnn-downloads)。cuDNN 是 ReActor 等使用 Onnx 的节点所必需的,因此我已安装它。

  3. 使用以下命令克隆最新版 ComfyUI:git clone https://github.com/comfyanonymous/ComfyUI.git

  4. 切换至 comfyui 目录

  5. python -m venv .venv

  6. .venv\Scripts\activate.bat

  7. pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

  8. 安装 ComfyUI 依赖:pip install -r requirements.txt

  9. 从以下链接下载适用于 Python 3.10 的 Triton 3.1.0(triton-3.1.0-cp310-cp310-win_amd64.whl):https://github.com/woct0rdho/triton-windows/releases,将其放入 comfyui 文件夹,并使用命令 pip install triton-3.1.0-cp310-cp310-win_amd64.whl 安装

  10. 使用以下命令运行 ComfyUI:python.exe -s .\main.py --windows-standalone-build

模型

  1. flux_dev_fp8_scaled_diffusion_model.safetensors(models/diffusion_models/flux):https://huggingface.co/comfyanonymous/flux_dev_scaled_fp8_test/tree/main

  2. t5xxl_fp8_e4m3fn_scaled.safetensors(models/clip):https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

  3. ViT-L-14-BEST-smooth-GmP-TE-only-HF-format.safetensors(models/clip):https://huggingface.co/zer0int/CLIP-GmP-ViT-L-14/tree/main

  4. pulid_flux_v0.9.1.safetensors(models/pulid):https://huggingface.co/guozinan/PuLID/tree/main

  5. antelopeV2(models/insightface/models/antelopev2):从 https://huggingface.co/MonsterMMORPG/tools/tree/main 下载 antelopev2.zip 并解压,确保所有 antelopeV2 模型文件位于 models/insightface/models/antelopev2 文件夹中。

  6. FLUX.1-dev-ControlNet-Union-Pro(models/controlnet):https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro/tree/main,下载 diffusion_pytorch_model.safetensors 并重命名为 FLUX.1-dev-ControlNet-Union-Pro.safetensors

  7. Flux VAE:通过管理器安装

自定义节点

  1. ComfyUI-GGUF:仅适用于希望使用ControlNet的16GB显存用户

  2. rgthree 的 ComfyUI 节点

  3. KJNodes for ComfyUI

  4. ComfyUI-PuLID-Flux-Enhanced

此模型生成的图像

未找到图像。