고해상도 수정

552x616에서 1104x1232로

새로운 곳:

https://github.com/lllyasviel/stable-diffusion-webui-forge

Stable Diffusion WebUI Forge

Stable Diffusion WebUI Forge는 Stable Diffusion WebUI(Gradio 기반) 위에 구축된 플랫폼으로, 개발을 쉽게 하고 리소스 관리를 최적화하며 추론 속도를 향상시키는 것을 목표로 합니다.

"Forge"라는 이름은 "마인크래프트 포지"에서 영감을 받았습니다. 이 프로젝트는 SD WebUI의 Forge가 되는 것을 목표로 합니다.

기존 WebUI(SDXL 추론 기준 1024px)와 비교했을 때, 아래와 같은 속도 향상을 기대할 수 있습니다:

1. 8GB VRAM과 같은 일반적인 GPU를 사용하는 경우, 추론 속도(it/s)에서 약 30~45%의 속도 향상을 기대할 수 있으며, GPU 메모리 최대 사용량(작업 관리자 기준)은 약 700MB에서 1.3GB 감소하고, OOM이 발생하지 않는 최대 확산 해상도는 약 23배 증가하며, OOM이 발생하지 않는 최대 확산 배치 크기는 약 46배 증가합니다.

2. 6GB VRAM과 같은 성능이 낮은 GPU를 사용하는 경우, 추론 속도(it/s)에서 약 60~75%의 속도 향상을 기대할 수 있으며, GPU 메모리 최대 사용량은 약 800MB에서 1.5GB 감소하고, OOM이 발생하지 않는 최대 확산 해상도는 약 3배 증가하며, OOM이 발생하지 않는 최대 확산 배치 크기는 약 4배 증가합니다.

3. 24GB VRAM을 가진 강력한 GPU(예: 4090)를 사용하는 경우, 추론 속도(it/s)에서 약 3~6%의 속도 향상을 기대할 수 있으며, GPU 메모리 최대 사용량은 약 1GB에서 1.4GB 감소하고, OOM이 발생하지 않는 최대 확산 해상도는 약 1.6배 증가하며, OOM이 발생하지 않는 최대 확산 배치 크기는 약 2배 증가합니다.

4. SDXL에 ControlNet을 사용하는 경우, OOM이 발생하지 않는 최대 ControlNet 개수는 약 2배 증가하고, SDXL+ControlNet의 속도는 약 30~45% 향상됩니다.

Forge가 가져오는 또 다른 매우 중요한 변화는 Unet Patcher입니다. Unet Patcher를 사용하면 Self-Attention Guidance, Kohya 고해상도 수정, FreeU, StyleAlign, Hypertile과 같은 방법들을 약 100줄의 코드로 구현할 수 있습니다.

Unet Patcher 덕분에 이제 Forge에서는 SVD, Z123, 마스킹된 Ip-adapter, 마스킹된 ControlNet, Photomaker 등 많은 새로운 기능이 가능하고 지원됩니다.

이제 UNet에 머신패치를 하거나 다른 확장 프로그램과 충돌할 필요가 없습니다!

Forge는 DDPM, DDPM Karras, DPM++ 2M Turbo, DPM++ 2M SDE Turbo, LCM Karras, Euler A Turbo 등 여러 샘플러를 추가했습니다.(LCM은 원래 WebUI 1.7.0부터 이미 포함되어 있습니다.)

마지막으로, Forge는 우리의 역할만 수행할 것임을 약속합니다. Forge는 사용자 인터페이스에 불필요한 주관적인 변경을 절대 추가하지 않습니다. 여전히 100% Automatic1111 WebUI를 사용하고 있습니다.

모델에 사용한 설정

대상 모델 로드:

SDXLClipModel

샘플링 스텝: 40-50

CFG 스케일: 7-20

샘플링 방법: DPM++ 3M SDE Exponential + DPM++ 2M SDE Turbo

비율: 1024x1024