PhotoRealXL
세부 정보
파일 다운로드
모델 설명
새로운 곳:
https://github.com/lllyasviel/stable-diffusion-webui-forge
Stable Diffusion WebUI Forge
Stable Diffusion WebUI Forge는 Stable Diffusion WebUI(Gradio 기반) 위에 구축된 플랫폼으로, 개발을 쉽게 하고 리소스 관리를 최적화하며 추론 속도를 향상시키는 것을 목표로 합니다.
"Forge"라는 이름은 "마인크래프트 포지"에서 영감을 받았습니다. 이 프로젝트는 SD WebUI의 Forge가 되는 것을 목표로 합니다.
기존 WebUI(SDXL 추론 기준, 1024px)에 비해 아래와 같은 속도 향상이 기대됩니다:
8GB VRAM과 같은 일반적인 GPU를 사용할 경우, 추론 속도(it/s)에서 약 30~45%의 속도 향상을 기대할 수 있으며, GPU 메모리 최대 사용량(작업 관리자 기준)은 약 700MB에서 1.3GB 줄어들고, OOM이 발생하지 않는 최대 확산 해상도는 약 2배에서 3배 증가하며, OOM이 발생하지 않는 최대 확산 배치 크기는 약 4배에서 6배 증가합니다.
6GB VRAM과 같은 성능이 낮은 GPU를 사용할 경우, 추론 속도(it/s)에서 약 60~75%의 속도 향상을 기대할 수 있으며, GPU 메모리 최대 사용량은 약 800MB에서 1.5GB 줄어들고, OOM이 발생하지 않는 최대 확산 해상도는 약 3배 증가하며, OOM이 발생하지 않는 최대 확산 배치 크기는 약 4배 증가합니다.
24GB VRAM을 갖춘 4090과 같은 고성능 GPU를 사용할 경우, 추론 속도(it/s)에서 약 3~6%의 속도 향상을 기대할 수 있으며, GPU 메모리 최대 사용량은 약 1GB에서 1.4GB 줄어들고, OOM이 발생하지 않는 최대 확산 해상도는 약 1.6배 증가하며, OOM이 발생하지 않는 최대 확산 배치 크기는 약 2배 증가합니다.
SDXL에 ControlNet을 사용할 경우, OOM이 발생하지 않는 최대 ControlNet 개수는 약 2배 증가하며, SDXL+ControlNet의 속도는 약 30~45% 향상됩니다.
Forge가 가져오는 또 다른 매우 중요한 변화는 Unet Patcher입니다. Unet Patcher를 사용하면 Self-Attention Guidance, Kohya High Res Fix, FreeU, StyleAlign, Hypertile과 같은 방법들을 약 100줄의 코드로 구현할 수 있습니다.
Unet Patcher 덕분에 Forge에서는 이제 SVD, Z123, 마스킹된 Ip-adapter, 마스킹된 ControlNet, Photomaker 등 다양한 새로운 기능이 가능해졌고 모두 지원됩니다.
이제 UNet에 몰래 패치하거나 다른 확장 프로그램과 충돌할 필요가 없습니다!
Forge는 DDPM, DDPM Karras, DPM++ 2M Turbo, DPM++ 2M SDE Turbo, LCM Karras, Euler A Turbo 등 몇 가지 새로운 샘플러도 추가했습니다. (LCM은 이미 1.7.0 버전부터 기존 WebUI에 포함되어 있습니다.)
마지막으로, Forge는 우리가 할 일만 하겠다고 약속합니다. Forge는 사용자 인터페이스에 불필요한 의견 기반 변경을 절대 추가하지 않습니다. 여전히 100% Automatic1111 WebUI를 사용하고 계십니다.
모델에 사용한 설정
대상 모델 로드 시:
SDXLClipModel
샘플링 단계: 40-50
CFG 스케일: 7-20
샘플링 방법: DPM++ 3M SDE Exponential + DPM++ 2M SDE Turbo
비율: 1024x1024