a pile of junk-MixMod-workflow

■ 최적화되지 않은 경우 이 워크플로우는 18GB의 VRAM을 사용합니다.

정말로, 이 워크플로우를 시도해볼 가치는 거의 99% 없습니다.

이것은 단순히 나 자신을 만족시키기 위한 실험적 설정이므로, 그냥 누군가가 이상한 실험을 하는 모습이라 생각해주셨으면 합니다.

■ 이 워크플로우는 MixMod라는 확장 기능을 중심으로 구축되었습니다.

이 확장 기능을 통해 동일한 VAE를 사용하는 여러 모델을 결합할 수 있습니다.

자세한 내용은 레포지토리 또는 토론 스레드를 참조하세요. 이곳에서 더 쉽게 이해하실 수 있을 겁니다.

저는 이를 다소 이례적인 방식으로 사용하고 있지만, MixMod 자체는 캐주얼하고 재미있는 기능입니다. 좋아하는 모델들을 결합해 실험하는 즐거움을 느껴보시기 바랍니다. 꼭 한 번 시도해보시길 강력히 추천드립니다!

결과적으로, PixArt-Sigma와 SDXL은 동일한 VAE를 사용하기 때문에 더 깊이 결합할 수 있었습니다.

■ 그리고 이 워크플로우는 이 개념을 더욱 확장하여 매우 구체적인 사용 사례를 적용합니다.

제가 미세 조정한 PixArt-Sigma 512px와 Playground-v2 512px를 결합한 후, SD1.5를 사용해 i2i 업스케일링을 통해 결과를 더 다듬습니다.

이 워크플로우의 핵심 개념은 사랑받는 ‘쓰레기’ 모델들을 재사용하는 것입니다.

Playground-v2는 고유한 스타일을 구축하고, PixArt-Sigma는 개념적 이해를 강화하며, SD1.5는 최종적인 디테일을 다듬어줍니다.

각 모델은 서로의 약점을 보완하면서 강점을 극대화합니다.

■ 그러나 이런 모든 노력을 기울인 후에도, 이 워크플로우는 다른 모델들보다 더 나은 결과를 도출하지 못합니다. 그러니 너무 큰 기대는 하지 마세요. 또한, 세 모델을 강제로 모두 결합하는 대신, Playground + SD1.5 또는 PixArt + SD1.5처럼 워크플로우를 분리하면 VRAM 사용량을 줄일 수 있고, 각 모델의 고유한 강점을 더 잘 보존할 수 있습니다. 제가 생각하기에, 이런 접근 방식이 훨씬 더 효과적일 것입니다.

■ 아래는 이 워크플로우를 제대로 작동시키기 위해 필요한 항목 목록입니다.

구형 ComfyUI를 사용 중이라면 일부 샘플러나 노드가 누락될 수 있습니다. 이 경우 업데이트하거나 교체하는 것을 고려하세요.

MixMod

https://github.com/kantsche/ComfyUI-MixMod

extramodels

https://github.com/city96/ComfyUI_ExtraModels

GGUF loader

https://github.com/city96/ComfyUI-GGUF

T5 gguf 또는 fp8 또는 fp16

https://huggingface.co/city96/t5-v1_1-xxl-encoder-gguf

https://huggingface.co/Comfy-Org/stable-diffusion-3.5-fp8/blob/main/text_encoders/t5xxl_fp8_e4m3fn.safetensors

https://huggingface.co/theunlikely/t5-v1_1-xxl-fp16/tree/main