ComfyUI Pony/SDXL/Illustrious Easy-Use Detailer Workflow (now with video generation!)
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
가중치_전용 설정에 대한 오류가 발생하는 경우, 각 줄에 하나씩 다음 위치에 detailer .pt 파일을 추가하세요:
ComfyUI\user\default\ComfyUI-Impact-Subpack\model-whitelist.txt
이 워크플로우는 표준 Stable Diffusion 도구(ControlNet 및 Lora/LYCORIS)를 사용하여 초상화 스타일의 이미지를 생성하고, 최소한의 맞춤형 노드만으로 이미지에 디테일을 추가하며, 워크플로우를 간단하고 명확하게 유지하여 필요에 따라 노드를 손쉽게 추가하거나 제거할 수 있도록 설계되었습니다.
핵심 아이디어는 자신이 좋아하는 기본 이미지를 생성한 후, 이를 자동으로 개선하도록 놔두는 것입니다. 이렇게 하면 원하는 이미지가 나올 때까지 첫 번째 단계에서 이미지를 중단할 수 있고, 이후에는 매번 첫 단계의 결과보다 더 나은 최종 결과가 도출될 것이라는 확신을 가지고 작업을 떠날 수 있습니다.
v4에 오신 것을 환영합니다 (버전 노트를 꼭 읽어주세요)
영상 생성 단계의 리소스는 다음 링크에서 확인할 수 있습니다:
https://blog.comfy.org/p/wan21-video-model-native-support
-
버전 4는 최종 출력과 초기 프롬프트를 기반으로 Wan2.1 고급 영상 생성 프로젝트를 사용하여 영상 생성 기능을 추가했습니다.
이 기능을 사용하기 위해 필요한 하드웨어 자원은 매우 높고, 프로세스가 느리며, 좋은 결과를 얻으려면 이미지 생성 시와는 다른 방식으로 초기 프롬프트를 설계해야 합니다.
VRAM이 16GB 미만이거나 시스템 RAM이 48GB 미만인 환경에서는 영상 생성을 시도하지 않는 것을 권장합니다. 심지어 이 사양이라도 5초 영상을 생성하는 데 걸리는 시간이 워크플로우의 나머지 부분보다 훨씬 길 수 있습니다(이미 상당히 긴 프로세스입니다).
첫 번째 프롬프트에는 명확한 액션을 포함해야 합니다. 그렇지 않으면 Wan은 인간이 절대 하지 않을, 하지 않아야 할, 하지 않는 행동을 무작위로 생성합니다.
워크플로우의 영상 부분 옆의 텍스트 블록을 참고하세요.
또한 시드, 스텝, CFG에 대한 새로운 전역 구성 값 카드가 추가되었습니다. 이를 통해 하나의 값을 변경하면 워크플로우의 이미지 생성 단계 전체에 동일한 값이 적용됩니다. 이로 인해 디테일러 단계를 거치며 하나의 이미지를 미세 조정할 때 각 단계에서 시드를 개별적으로 변경할 필요 없이 정적 시드를 쉽게 사용할 수 있게 되었습니다. 여전히 CFG나 스텝을 현재 설정치보다 낮추는 것은 권장하지 않지만(예: 하드웨어 성능이 30스탭에서 너무 느리다면), 이를 조정할 수 있는 옵션이 제공됩니다.
-
V2+
이 워크플로우는 각 단계에서 관련 세부 정보를 추가해 조정할 수 있습니다. 이는 텍스트 프롬프트 추가, CLIP 조정, 심지어 각 디테일러 단계에서 Lora를 추가하는 것을 포함합니다.
다만, 디테일러 단계에 Lora를 추가할 때는 특별한 고려가 필요합니다. Ultralytics 감지 방식의 특성상, 각 단계에서 사용할 수 있는 Lora가 제한됩니다. 간단히 말해, Lora로 수행하는 모든 수정은 감지 창 내부에 완전히 들어맞아야 합니다. 일반적으로 이미지의 요소 크기를 늘리거나 줄이는 등의 큰 수정은 해당 요소의 디테일러보다 상위 단계 또는 최상위 단계에서 수행되어야 합니다. 예를 들어, 이미지의 눈 크기를 확대하는 스라이더 Lora를 적용하려면 눈 디테일러가 아니라 얼굴 디테일러에 적용해야 합니다(눈 디테일러는 눈의 디테일이나 사실감을 향상시키는 Lora에 적합합니다). 유사하게, 가슴 크기를 변경하는 Lora는 바디 디테일러 또는 최상위 단계에 적용되어야 합니다. 각 단계에서 잘 작동하는 예시를 제공하기 위해 제가 선호하는 몇 가지 Lora를 미리 채워두었습니다.
또한 디테일러 스택의 맨 위에 LUT 노드를 추가했습니다. 이는 선택 사항이지만, 특히 야외 이미지에서 하늘과 물에 영화 같은 강렬한 효과를 부여할 때 매우 효과적입니다. LUT은 https://freshluts.com/에서 무료로 다운로드할 수 있습니다. 일반적인 이미지 보정을 목적으로 설계된 Rec 709 감마 모델을 추천합니다.
마지막으로, 훌륭한 1x_antialiasing 업스케일 모델을 사용해 마지막 업스케일 단계를 추가하여 보다 깔끔한 최종 완성도를 도출했습니다. 이는 최종 이미지의 크기를 크게 늘리지 않으며, 단지 정리 및 클린업 역할을 합니다.
추가로 Lora를 많이 사용할수록 메모리 사용량이 증가합니다. VRAM이 제한적인 경우, 추가하는 Lora의 수를 신중히 조절하세요.
감사합니다! 업그레이드된 기능들을 즐기시길 바랍니다!
-
V1+
이 워크플로우는 경로 내부에 어떤 것도 숨기지 않도록 설계되었습니다. 노드 간 연결은 단순하고 여분의 블록 없이 최소한의 연결만으로 구성했으며, 단계 간에는 2~3개의 노드 링크만 사용했습니다.
원본 생성 이미지에 큰 변화를 일으킬 수 있는 변수들을 제거하여, 기본 이미지를 생성한 후 몇 분 뒤 돌아와서 전혀 다른 결과물을 발견하는 상황이 없도록 했습니다. 또한 각 단계마다 "저장 지점"(이미지 미리보기)을 제공하여 디테일러 단계 중 한 단계가 실패하더라도 이전 단계에서 유용한 결과를 추출할 수 있습니다.
제공된 워크플로우는 NSFW Pony/Pony Realism 모델을 위한 것이지만, 아무런 수정 없이 SDXL 모델에도 잘 작동합니다.
SFW 이미지에 사용하거나 특정 디테일러가 원하는 결과를 얻지 못할 경우, Bbox 감지기를 다른 것으로 변경하거나, 이전 단계에서 나온 2~3개의 링크를 해당 디테일러를 건너뛰도록 재연결하여 불필요한 디테일러를 생략할 수 있습니다.
워크플로우에 추가 디테일러를 삽입하려면 기존 디테일러 노드 트리를 언핀하고 복제한 후 원본과 동일한 방식으로 연결하면 됩니다. 이때 올바른 위치에 삽입하는 것이 중요합니다. 예를 들어, 옷과 같은 전신 디테일러는 첫 번째 업스케일 이전에, 머리나 얼굴 크기의 디테일러는 두 번째 업스케일 이전에, 젖꼭지와 같은 미세 디테일은 두 번째 업스케일 이후에 적용해야 합니다. 이렇게 Ultralytics를 분리하면 각 디테일러 단계에서 최대한 많은 데이터를 활용하면서도 원치 않는 결과를 최소화할 수 있습니다.
이 워크플로우는 빠른 방식이 아닙니다. 제 시스템(R7950X/64GB DDR5/RTX4090)에서 단일 이미지 생성에 걸리는 평균 시간은 6~10분입니다. 이 워크플로우는 고VRAM 시스템(16GB 이상 권장, 12GB GPU에서도 작동 가능)을 위해 설계되었으므로, VRAM이 부족하면 시스템 RAM으로 페이징되어 상당히 느려지거나 아예 작동하지 않을 수 있습니다. 기본 이미지 크기를 줄이면 VRAM 요구량을 줄일 수 있으나, 이 경우 업스케일 타일 크기(첫 번째 업스케일 타일 크기는 기본 이미지 크기와 같고, 두 번째는 기본 이미지 크기의 1.5배)와 워크플로우의 "Upscaled Original" 섹션에서의 리사이즈 폭을 최종 출력 이미지의 폭과 동일하게 조정해야 합니다. 또한 각 디테일러의 guide_size와 max_size를 1024와 같이 더 작은 값으로 설정하는 것도 고려해 보세요.
테스트하지는 않았지만, 로더의 매개변수를 SD1.5에 맞게 조정하고 위에서 언급한 업스케일 타일 크기와 리사이즈 폭을 변경하며, 각 디테일러의 guide_size와 max_size를 512로 설정하면 SD1.5에서도 작동할 것으로 예상됩니다.
이 워크플로우에서 DDIM 외의 샘플러를 사용하면 작동은 하지만, 선택한 샘플러에 따라 결과가 달라집니다. 일부 샘플러는 디테일러와 더 잘 혼합되며, 일부는 이미지가 워크플로우를 통과하면서 변화가 발생할 수 있습니다. DDIM을 선택한 이유는 테스트한 모든 샘플러 중 가장 변화가 적고, 사실적, 반팩트적, 만화 및 다양한 주제에 대해 우수한 출력을 생성하기 때문입니다. 다른 샘플러를 사용하려면 계층적 샘플러(ancestral samplers)는 피하는 것이 좋습니다. 이 워크플로우처럼 다중 생성 단계를 거치면 각 단계에서 결과가 극심하게 달라질 수 있기 때문입니다. 어떤 샘플러를 선택하든 워크플로우 전체에서 동일하게 유지해야 결과의 일관성이 보장됩니다. 스텝 수와 시드도 마찬가지입니다. 변경한다면 모든 곳을 변경하세요. CFG는 10 근처에서 유지하는 것이 좋습니다. 낮추면 워크플로우 전체에 일관성 없는 변화가 발생할 수 있습니다.
이 워크플로우의 기반이 된 yolain의 뛰어난 Easy-Use 노드(https://github.com/yolain/ComfyUI-Easy-Use)에 큰 박수를 보냅니다. 단지 이 노드들만으로도 다른 Ultralytics 디테일러 노드에서 발생하는 다양한 어려움을 해결하고 이미지의 원치 않는 톤 변화를 조정할 수 있었습니다. 정말 놀라운 도구이며, 매일 새로운 기능이 추가되고 있습니다.
사용된 기타 리소스:
ssitu의 ComfyUI_UltimateSDUpscale(https://github.com/ssitu/ComfyUI_UltimateSDUpscale)
uwg의 SwinIR 업스케일 모델(https://huggingface.co/uwg/upscaler/tree/main/SwinIR) - 진심으로, 이 모델을 아직 사용하지 않고 있다면 지금 당장 사용하세요.
이 워크플로우에 사용할 Ultralytics 감지 모델은 Civitai, huggingface.co 등에서 찾을 수 있습니다. 대부분의 모델이 .pt 파일이므로 "사용은 사용자 책임" 범주에 해당하며, 직접 링크는 제공하지 않습니다.