😉 FLUX.1-dev-ControlNet-Union-Pro-2.0-fp8

Hugging Face 모델 카드

매개변수에 대한 좋은 참고 자료

• Canny: controlnet_conditioning_scale=0.7, control_guidance_end=0.8

• Depth: depth-anything 사용, controlnet_conditioning_scale=0.8, control_guidance_end=0.8

• Pose: DWPose 사용, controlnet_conditioning_scale=0.9, control_guidance_end=0.65

• Gray: Color 사용, controlnet_conditioning_scale=0.9, control_guidance_end=0.8

폴더 구조

FLUX dev 및 ControlNet 워크플로우를 위해 모델을 다음과 같이 정리하세요:

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └── 📄 flux-dev.safetensores         # (또는 gguf)
│   ├── 📂 text_encoders/
│   │   ├── 📄 clip_l.safetensors
│   │   └── 📄 t5xxl_fp8_e4m3fn.safetensors # (또는 t5xxl_fp16 또는 t5xxl_fp8_e4m3fn_scaled)
│   ├── 📂 vae/
│   │   └── 📄 ae.safetensors
│   ├── 📂 controlnet/
│   │   └── 📄 FLUX.1-dev-ControlNet-Union-Pro-2.0-fp8.safetensors

참고: T5XXL 텍스트 인코더는 하나만 필요합니다. 하드웨어와 품질/속도 요구사항에 따라 선택하세요.

---

---

제 FP8 양자화 솔루션

약간의 코딩 경험을 바탕으로 양자화를 조사하고 이 모델에 FP8 압축을 구현했습니다. 양자화된 버전은 필요한 모든 ControlNet 워크플로우를 훨씬 낮은 메모리 요구사항으로 완벽하게 작동하며, 눈에 띄는 품질 손실이 없습니다.

---

양자화된 모델 사용법

• 포즈, 깊이, 캔니 엣지 등 모든 원래 제어 유형을 지원합니다.

• 임의의 참조 이미지를 드래그하여 제어 유형을 선택하면, 메모리 사용량을 줄이면서 결과를 생성할 수 있습니다.

---

OllamaGemini를 통한 향상된 프롬프트 생성

저는 사용자 정의 ComfyUI용 OllamaGemini 노드를 사용하여 최적의 프롬프트를 생성합니다. 이 도구와 양자화된 모델을 결합하면 창의적인 이미지 조작을 위한 강력하고 메모리 효율적인 파이프라인을 구축할 수 있습니다.

---

고성능 하드웨어를 위한 대안

강력한 GPU를 사용하는 경우, Shakker-Labs의 원본 비양자화 모델이 메모리 사용량은 증가하지만 더 높은 품질을 제공합니다.

---

향후 계획

커뮤니티 피드백을 환영합니다! 이러한 워크플로우가 도움이 된다면, 프로젝트에 👍을 남겨주세요. 이 자원을 개발하는 과정에서 제게 격려와 기회를 주시는 것에 진심으로 감사드립니다.

---

창의적인 프로젝트에 이 모델을 자유롭게 실험해보세요—메모리 효율적인 양자화 버전 또는 원본 정밀도 구현 중 어떤 것을 사용하든!

👨‍💻 개발자 정보

이 가이드는 압달라 알-스와이티가 작성했습니다:

1. Hugging Face

2. GitHub

3. LinkedIn

4. ComfyUI-OllamaGemini

추가 도구 및 업데이트를 원하시면 다른 리포지토리도 확인하세요.