CJ's Super Fast SDXL to SD1.5 with Upscale Workflow

나는 지난 1년 동안 Stable Diffusion에 이루어진 진보를 활용하기 위해, 원래의 빠른 Turbo XL에서 SD1.5로의 워크플로우(/model/217808/cjs-super-simple-sdxl-turbo-to-sd-15-workflow)를 다시 살펴보기로 결정했다.

이 워크플로우는 이제 Turbo에만 제한되지 않는다. 어떤 SDXL(또는 XL 관련) 체크포인트라도 이 워크플로우와 함께 사용할 수 있다. 마찬가지로, 설정을 조정하고 테스트하는 데에 거리낌이 없다면, 타일 업스케일까지 포함해 이 워크플로우를 오직 SDXL 전용으로 유지할 수도 있다.

이 워크플로우의 속도는 두 개의 LoRA 팩에서 완전히 비롯된다. PCM은 LCM의 후속으로 출시된 최신 최고의 저단계 LoRA 세트이다. 이제 LCM 샘플러에만 제한되지 않아 훨씬 더 큰 유연성을 제공한다. SPO는 Step-aware Preference Optimization의 약자로, DPO의 후속 개념이다. SPO LoCon LoRA는 SPO 체크포인트에서 추출되어 어떤 SDXL 체크포인트에도 사용할 수 있도록 최적화되었다.

이 워크플로우는 다양한 용도로 사용할 수 있지만, 내가 가장 선호하는 용도는 실시간 이미지 구성이다. 실시간 이미지 구성에 이 워크플로우를 사용하려면, 시드를 "New Fixed Random"으로 설정하고 "Upscale" 그룹이 꺼져 있거나 무시되도록 해야 한다. 사이드 메뉴에서 "Extra options"를 체크한 후, "Auto Queue"를 활성화하라. "Queue Prompt"를 누르고 텍스트를 입력하기 시작하라. 원하는 이미지를 구성했으면, "Auto Queue"를 끄고 "Upscale" 그룹을 활성화하라.

초기 추론에서 최종 2048x3072로 업스케일된 이미지까지, 내 4090FE에서 생성에 걸리는 총 시간은 약 20초이다.

이 워크플로우에는 일부 제한사항이 있음을 유의해야 한다. 즉, 다른 모델을 사용하는 모든 Img2Img 생성과 마찬가지로, 각 패스마다 이미지가 약간 변화한다. 원하는 결과가 나오지 않는다면, 시드를 변경하거나 프롬프트를 수정해 보라. 또한 SD1.5 ksampler의 덴노이즈 레벨을 조정해 볼 수도 있다. 일반적으로 0.40에서 0.65 사이의 값이 잘 작동한다. 이 범위를 벗어나면 이미지가 흐릿하거나 혼란스러워지므로 권장하지 않는다. 나는 여전히 0.60의 덴노이즈 레벨을 선호한다.

즐겁게 사용하시길 바란다! 수요가 있다면, 단일 SDXL 체크포인트를 출시할 수도 있다.