Flux Controlnet Upscale

이 워크플로우는 Flux Upscale Controlnet(https://huggingface.co/jasperai/Flux.1-dev-Controlnet-Upscaler)을 사용하여 제공된 이미지를 확대합니다. Florence 2는 자동 프롬프트 생성을 위해 이미지에 캡션을 추가하는 데 사용됩니다.

Kijai(https://huggingface.co/Kijai/flux-fp8/discussions/7#66ae0455a20def3de3c6d476)가 만든 스크립트를 사용하여 ControlNet을 fp8로 변환하여 Flux(fp8)와 ControlNet이 16GB VRAM에 적합하도록 합니다.

워크플로우를 위한 중요한 참고사항

• 사진을 확대하지 않는 경우 "텍스트 찾기 및 바꾸기" 노드를 우회해야 합니다.

• 출력 이미지의 크기는 입력 이미지의 비율과 "Scale To Megapixels" 노드의 메가픽셀 수에 의해 결정됩니다. 최상의 결과를 얻으려면 이 값을 1~2 사이로 설정하세요.

• ControlNet의 강도는 0.5~0.6 사이로 설정해야 합니다.

• end_percent를 사용하여 확대된 결과가 제공된 이미지에 얼마나 충실하게 유지될지를 제어할 수 있습니다. 더 높은 값은 원본 이미지에 더 충실하게 만들고, 낮은 값은 모델이 더 창의적으로 작업할 수 있는 여유를 줍니다.

• reddit의 axior는 8메가픽셀로 확대할 때, Flux + Upscale ControlNet 방법을 사용하여 ControlNet 강도를 0.85로 설정하고, 생성의 0.85까지 진행한 후 denoise를 0.95로 설정한 결과가 좋았다고 보고했습니다.

모델

1. flux1-dev-fp8-e4m3fb.safetensors (models/diffusion_models/flux): https://huggingface.co/Kijai/flux-fp8/tree/main

2. t5xxl_fp8_e4m3fn_scaled.safetensors (models/clip): https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

3. ViT-L-14-BEST-smooth-GmP-TE-only-HF-format.safetensors (models/clip): https://huggingface.co/zer0int/CLIP-GmP-ViT-L-14/tree/main

4. Flux.1-dev-Controlnet-Upscaler (models/controlnet): https://huggingface.co/jasperai/Flux.1-dev-Controlnet-Upscaler — Kijai의 스크립트(https://huggingface.co/Kijai/flux-fp8/discussions/7#66ae0455a20def3de3c6d476)를 사용하여 16GB VRAM 사용자를 위해 fp8로 변환됨.

5. Flux VAE: 관리자로 설치

커스텀 노드

1. ComfyUI-Florence2 by Kijai

2. WAS Node Suite

3. comfyui-art-venture

4. rgthree's ComfyUI Nodes

5. KJNodes for ComfyUI