SDXL config ComfyUI Fast generation 4GB vRAM (refiner)
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
안녕하세요,
SDXL 1.0을 시도해보았으나, RTX 3050 Laptop 4GB VRAM을 탑재한 제 노트북은 3분 이내로 이미지를 생성할 수 없었습니다. 그래서 ComfyUI에서 최적의 설정을 찾기 위해 시간을 들였고, 이제 배치 이미지 생성은 55초, 새 프롬프트를 감지할 경우 70초 만에 생성할 수 있게 되었고, 리파이너가 작동한 후 품질이 훨씬 좋아졌습니다.
이 설정은 이미지 크기(1024x720), 모델, 스텝(10+5 리파이너), 샘플러/스케줄러 간의 최고의 균형을 이룬 것으로, 비싼/거대한 데스크탑 GPU 없이도 노트북에서 SDXL을 사용할 수 있게 해줍니다.
많은 분들이 주로 노트북을 사용하므로, 제가 찾은 이 설정을 공유하고자 합니다. 이는 제가 찾을 수 있었던 가장 균형 잡힌 설정이라고 생각합니다.
"run_nvidia_gpu.bat" 파일에 다음 파라미터 추가: --normalvram --fp16-vae
페이스 픽스 빠른 버전?
SDXL은 얼굴이 "카메라"에서 멀리 떨어져 있을 때(작은 얼굴) 얼굴에 많은 문제를 겪습니다. 따라서 이 버전은 감지된 얼굴을 보정하고, 얼굴 부분에만 5개의 추가 스텝을 적용합니다.
페이스 픽스 느린 버전?
빠른 버전이 아닌 페이스 픽스 버전은 업스케일러 후에 얼굴을 보정합니다. 특히 매우 작은 얼굴에서 더 나은 결과를 얻을 수 있지만, 빠른 버전보다 20초가 더 소요됩니다.
페이스 픽스 출력이 다른 이미지를 생성하지 않는 경우(예: 4x 업스케일러를 사용 중인 경우) 및 콘솔에 "segment skip [determined upscale factor=0.9875809267424535]" 메시지가 출력된다면, "FaceDetailer" 모듈에서 "guide_size" 값을 1280에서 1408 또는 그 이상으로 증가시켜 FaceDetailer가 활성화되도록 하세요.
LORA와 LORA 빠른 버전의 차이점은?
LORA 빠른 버전을 선택하면 20~30초를 절약할 수 있습니다.
LORA 빠른 버전은 리파이너 이후 3개의 추가 스텝을 통해 LORA 효과를 보정하지 않습니다. 리파이너는 LORA 효과를 흐리게 만들 수 있으며, 일부 커스텀 스타일의 LORA에서는 마지막 3개의 스텝이 효과를 다시 추가하기 위해 필요할 수 있습니다. 대부분의 경우 불필요하며, 이미지에 큰 변화를 주는 커스텀 스타일 LORA에만 권장됩니다.
생성 시간 (첫 번째 이미지 이후):
LORA 없음: 55-60초
LORA 사용: 85-115초
LORA 빠른 버전 사용: 75-80초
페이스 픽스 사용: 80초 (빠른 얼굴 보정) - 110초 (느린 얼굴 보정)
다운로드 파일:
리파이너 SDXL 1.0: https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0
모델 Dreamshaper SDXL 1.0 (또는 기타 모델): /model/112902/dreamshaper-xl10
고정된 SDXL VAE 16FP: https://huggingface.co/madebyollin/sdxl-vae-fp16-fix (config.json, diffusion_pytorch_model.safetensors, sdxl_vae.safetensors 파일을 VAE/
폴더 내에 동일한 위치에 저장하세요.) 업스케일 모델 (RealESRGAN 또는 Swin2SR):
https://github.com/xinntao/Real-ESRGAN/releases/download/v0.2.1/RealESRGAN_x2plus.pth
https://github.com/mv-lab/swin2sr/releases/download/v0.0.1/Swin2SR_Lightweight_X2_64.pth페이스 픽스 버전용 (FaceDetailer):
ComfyUI/models/sams: https://dl.fbaipublicfiles.com/segment_anything/sam_vit_b_01ec64.pth
