Flux1 Dev Consistent Character - Fast Generation (PuLID, Controlnet, Torch Compile)

이 워크플로우는 4060Ti에서 1.15초/이터레이션 속도로 일관된 캐릭터를 가진 플럭스 이미지를 생성합니다(2세대 이상에서 모델 컴파일을 활성화한 경우). 이 워크플로우를 실행하려면 16GB VRAM이 필요합니다. GGUF 모드는 torch.compile과 잘 작동하지 않기 때문에 fp8 플럭스 모델을 사용합니다. 오류가 발생하는 경우 아래 지침에 따라 환경을 설정하세요.

• 캐릭터 일관성을 위한 PuLID. 사용자들이 PuLID가 AI 생성 캐릭터에는 잘 작동하지만 실제 사진에는 잘 작동하지 않는다고 보고했음을 유의하세요.

• FLUX.1-dev-ControlNet-Union-Pro 컨트롤넷(16GB VRAM에서 컨트롤넷을 사용하려면 Q2_k 플럭스 GGUF를 사용해야 함)

• Kijai 패치를 적용한 TorchCompileModel 베타 노드: 모델을 컴파일하여 첫 번째 생성에는 시간이 더 소요되지만 이후 생성은 빨라집니다.

• weight_dtype를 fp8_e4m3fn_fast로 설정하여 NVIDIA 40시리즈 그래픽카드에서 fp8 행렬 곱셈을 활용해 더 빠른 생성을 가능하게 합니다. 이전 세대 카드를 사용하는 경우 fp8_e4m3fn을 선택하세요.

환경

아래 정확한 환경에서 이 워크플로우를 테스트했습니다. 문제가 발생하면 다음 단계에 따라 환경을 설정해 보세요:

1. Python 3.10.11 다운로드 및 설치: https://www.python.org/downloads/

2. CUDA 12.4 다운로드 및 설치: https://developer.nvidia.com/cuda-12-4-0-download-archive 및 cuDNN 버전 Tarball, CUDA 버전 12: https://developer.nvidia.com/cudnn-downloads. cuDNN은 Onnx를 사용하는 ReActor와 같은 노드에 필요하며, 이 이유로 이미 설치했습니다.

3. 다음 명령으로 최신 ComfyUI를 클론: git clone https://github.com/comfyanonymous/ComfyUI.git

4. comfyui 디렉토리로 이동

5. python -m venv .venv

6. .venv\Scripts\activate.bat

7. pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

8. ComfyUI 요구사항 설치: pip install -r requirements.txt

9. Python 3.10용 triton 3.1.0 다운로드 (triton-3.1.0-cp310-cp310-win_amd64.whl): https://github.com/woct0rdho/triton-windows/releases → comfyui 폴더에 저장 후 pip install triton-3.1.0-cp310-cp310-win_amd64.whl로 설치

10. 다음 명령으로 ComfyUI 실행: python.exe -s .\main.py --windows-standalone-build

모델

1. flux_dev_fp8_scaled_diffusion_model.safetensors (models/diffusion_models/flux): https://huggingface.co/comfyanonymous/flux_dev_scaled_fp8_test/tree/main

2. t5xxl_fp8_e4m3fn_scaled.safetensors (models/clip): https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

3. ViT-L-14-BEST-smooth-GmP-TE-only-HF-format.safetensors (models/clip): https://huggingface.co/zer0int/CLIP-GmP-ViT-L-14/tree/main

4. pulid_flux_v0.9.1.safetensors (models/pulid): https://huggingface.co/guozinan/PuLID/tree/main

5. antelopeV2 (models/insightface/models/antelopev2): https://huggingface.co/MonsterMMORPG/tools/tree/main 에서 antelopev2.zip 다운로드 후 압축 해제. models/insightface/models/antelopev2 폴더에 모든 antelopeV2 모델 파일이 있어야 합니다.

6. FLUX.1-dev-ControlNet-Union-Pro (models/controlnet): https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro/tree/main에서 diffusion_pytorch_model.safetensors 다운로드 후 FLUX.1-dev-ControlNet-Union-Pro.safetensors로 이름 변경

7. Flux VAE: 매니저를 통해 설치

커스텀 노드

1. ComfyUI-GGUF: 컨트롤넷을 사용하려는 16GB VRAM 사용자 전용

2. rgthree의 ComfyUI 노드

3. KJNodes for ComfyUI

4. ComfyUI-PuLID-Flux-Enhanced