illustrious TxT2ImG with Controlnet, Detailer Deamon, Detailers and IPAdapters
세부 정보
파일 다운로드
모델 설명
🗒️ ComfyUI용 새로운 Illustrious 워크플로우
안녕하세요, 지금까지 사용해온 Illustrious 워크플로우를 공유하고자 합니다.
이 워크플로우는 이전 버전의 진화판이며, 여기에서 확인하실 수 있습니다.
주요 기능
다중 디테일러: 사람, 얼굴, 눈, 손, 가슴, 유두. 각각 바이패서를 통해 개별적으로 켜고 끌 수 있어 정확히 어떤 부분을 세밀하게 조정할지 선택할 수 있습니다.
선택 가능한 ControlNet 시스템: 전체 ControlNet 그룹을 켜거나 끄거나, 특정 네트워크만 필요한 구조나 포즈 제어에 사용할 수 있습니다.
IPAdapter 통합: 스타일, 조명, 캐릭터 일관성을 위해 여러 참조 이미지를 동시에 지원하며, 각 이미지의 가중치를 조절할 수 있습니다.
LoRA 로더 그룹: LoRA 팩을 미리 로드하고 가중치를 설정한 후, 즉시 켜거나 끌 수 있습니다.
디테일러 데몬: 샘플러나 프롬프트에 영향을 주지 않고 텍스처를 선명하게 하거나 미세한 특징을 강화하거나 부드럽게 정리할 수 있습니다.
두 개의 KSampler 워크플로우: 워크플로우를 복잡하게 하지 않고 추가적인 형상 제어를 제공하는 유연한 이중 샘플러 설정입니다.
전체 메타데이터 저장: 사용된 체크포인트, 프롬프트, 설정 및 LoRA를 자동으로 저장하여 공유 및 CivitAI 업로드에 적합합니다.
자동 저장: 저장 경로에
%date를 추가하면 ComfyUI가 출력물을 날짜별 폴더로 정리해줍니다.초보자 친화적 바이패스 구조: 간단한 상태에서 시작한 후, 고급 기능을 하나씩 켜며 학습할 수 있어 부담 없이 사용할 수 있습니다.
SAM + Ultralytics 세그멘테이션 지원: 고품질 세그멘테이션 모델이 디테일러가 얼굴, 손, 신체 등 정확히 인식할 수 있도록 보장합니다.
면책 조항
저는 전문가가 아니라 오히려 초보자에 가깝습니다. 이 워크플로우는 이전 버전에서 진화했으며, 그 이전에는 DigitalPastel과 Mittoshuras의 훌륭한 워크플로우를 참고하여 연결하고 조정해 만들었습니다.
제가 참고한 워크플로우:
⚠️ 따라서 이 워크플로우를 실행하는 데 문제가 생긴다면, 제가 원하는 만큼 또는 전혀 도와드릴 수 없을 수 있습니다.
아래에 간단한 단계별 가이드를 작성했지만, 향후 1~2주 내에 이 워크플로우에 대한 완전한 기사를 작성할 계획입니다. 그 전까지 문제가 발생하면 ChatGPT를 사용해보세요(저도 그렇게 했습니다). 오류 메시지를 복사하여 붙여넣고 계속 시도해보세요.
또는 이 워크플로우를 보고 “이게 뭐야?”라고 생각하신다면, DigitalPastel의 Smooth-workflow를 추천드립니다. 저에게는 정말 훌륭한 출발점이었습니다.
⚡ 빠른 시작
초보자에게 가장 친숙한 방식으로 이미지를 빠르게 생성해보세요:
1. 워크플로우를 ComfyUI에 로드하세요.
링크를 숨깁니다. 이 워크플로우는 복잡한 끈처럼 얽혀 있습니다.
2. 이미지 생성 섹션을 제외하고 모두 끄세요.
이렇게 하면 간결하고 초보자 친화적인 상태를 유지할 수 있으며, 장비에서 워크플로우를 테스트할 때도 좋습니다. 메인 바이패서를 사용해 Txt2Img를 제외한 모든 기능이 꺼져 있는지 확인하세요.
3. 이미지 저장 경로를 설정하세요.
이미지 저장 노드에서 이미지 이름, 경로 및 저장 형식을 설정하세요.
현재 이미지는 Text2Img 폴더 내에 생성 날짜에 따라 하위 폴더로 저장됩니다. 예: Text2Img/2025-12-01/filename.png
4. 체크포인트를 선택하세요.
5. VAE 로드 (필요한 경우에만)
실제로 VAE가 필요할 경우에만 로드하세요. Load VAE 노드를 VAE Anything Everywhere 노드에 연결하세요. (기본적으로 이 노드는 체크포인트 로더에 연결되어 있습니다)
6. 2D 슬라이더를 사용해 이미지 크기를 설정하세요.
7. 긍정 프롬프트를 작성하세요.
녹색 긍정 프롬프트 노드를 사용하세요. 처음 테스트할 때는 간단하게 유지할 수 있습니다. 예:
“여성의 상세한 초상화, 부드러운 조명, 사진처럼 사실적”
더 고급스럽게 사용하려면:
긍정 노드는 두 영역으로 나뉩니다.
위쪽 박스 = 긍정 프롬프트
“LoRA 추가 선택”을 사용해 LoRA를 삽입하세요.
형식 예시:
embedding:SmoothNoob_Quality<lora:Smooth_Booster:0.5>
8. 기본 부정 프롬프트를 추가하세요.
긍정 프롬프트와 동일한 방식으로 빨간 부정 프롬프트를 사용하세요. 임베딩을 포함하거나 간단하게 시작할 수 있습니다. 예:
“흐릿함, 왜곡된 해부학, 과도한 팔다리, 나쁜 손”
9. _Queue Prompt_를 클릭하세요.
축하합니다. 첫 번째 출력이 완료되었습니다.
10. 더 많은 제어를 원하시나요?
새 섹션을 하나씩 켜보세요:
디테일러
ControlNets
IPAdapter
LoRA 로더 그룹
이 워크플로우는 점진적으로 확장할 수 있도록 설계되었으며, 아무것도 깨지지 않도록 구성했습니다. 혹은 뭔가 깨진다면, 되돌리기 쉬운 구조입니다.
아래는 각 기능의 역할과, 언제 사용해야 할지에 대한 설명입니다.
⭐ 디테일러 – 기능과 사용 시기
이 워크플로우는 이미지의 특정 부분을 정리하고 세밀하게 조정하기 위해 여섯 개의 전용 디테일러를 포함하고 있습니다. 각각은 바이패서를 통해 켜거나 끌 수 있어 실제로 필요한 것만 활성화하면 됩니다.
디테일러를 모델이 어려워하는 부분을 보완해주는 “포스트 프로세스 아티스트”라고 생각하세요.
👤 사람 디테일러
사람 디테일러는 전체 캐릭터를 한 번에 정제합니다. 넓은 형태, 옷의 테두리, 머리카락 윤곽, 주요 해부학적 특징 등을 정리한 후, 더 전문화된 디테일러가 작동하도록 준비합니다.
언제 사용해야 할까요?
사람 디테일러를 사용할 때:
• 전체 캐릭터가 흐릿하거나 부드럽게 보일 때
• 옷이나 신체 테두리가 선명하지 않을 때
• 머리카락이 덩어리처럼 보이거나 구조가 부족할 때
• 기본 렌더링은 구성은 좋지만 정의도가 낮을 때
• 얼굴/손/눈 디테일러를 더 정교하게 적용하기 전에 깔끔한 기반을 만들고 싶을 때
이 디테일러는 초보적인 “첫 번째 패스”로 매우 적합하며, 특히 초상화나 전신샷에 유용합니다.
🙂 얼굴 디테일러
이 디테일러는 얼굴 전체를 타겟으로 합니다: 윤곽, 코, 입, 턱선, 표정, 볼 세부사항 등 모든 요소를 정제합니다.
언제 사용해야 할까요?
얼굴 디테일러를 사용할 때:
• 얼굴이 흐릿하거나 정의가 모호할 때
• 표정의 명확성이 중요할 때
• 피부 세부사항을 더 좋게 만들되 과도한 아티팩트는 피하고 싶을 때
• 초상화 스타일의 이미지를 생성할 때
• 기본 모델이 얼굴을 일관성 있게 생성하지 못할 때
캐릭터가 중요하다면 거의 항상 켜두는 것이 좋습니다.
👁️ 눈 디테일러
눈은 대부분의 이미지에서 핵심 요소이며, 모델은 종종 이를 흐리게 하거나 왜곡합니다. 이 디테일러는 눈과 눈꺼풀만 분리해 최대한 선명하게 정제합니다.
언제 사용해야 할까요?
눈 디테일러를 사용할 때:
• 눈이 부드럽고 불균형하거나 맞지 않을 때
• 홍채 세부사항이 뚜렷하지 않을 때
• 속눈썹이 흐릿한 그림자로 변할 때
• 시선에 더 많은 표현력이나 강렬함을 주고 싶을 때
• 근접 촬영이나 초상화를 생성할 때
이 디테일러는 최소한의 처리로 인지된 품질을 크게 향상시킵니다.
여기에는 체크포인트 로더도 포함되어 있으며, 눈에 관련된 체크포인트를 혼합하면 훌륭하고 극적인 결과를 얻을 수 있었습니다.
✋ 손 디테일러
손은 AI 이미지 생성의 최종 보스일 수 있습니다. 이 디테일러는 마스크를 정제하고 손가락 형태를 선명하게 만들어 손을 제어합니다.
언제 사용해야 할까요?
손 디테일러를 사용할 때:
• 손가락이 흐릿하거나 융합되거나 불분명할 때
• 손이 보이거나 강조되는 포즈를 사용할 때
• 보석, 문신, 소품이 포함될 때
• 더 현실적인 손 그림자와 구조를 원할 때
• 얼굴 근처에 손이 들어오는 근접 촬영일 때
손이 화면에 나타난다면, 이 디테일러는 당신의 최고의 친구가 됩니다.
⭐ 가슴 디테일러
가슴 영역의 형태, 그림자, 윤곽을 정제합니다. 특히 고해상도나 스타일리시한 캐릭터 디자인에서 비정상적인 형태나 모델링 문제를 수정하는 데 도움이 됩니다.
언제 사용해야 할까요?
가슴 디테일러를 사용할 때:
• NSFW, 화려하거나 드러나는 옷을 사용할 때
• 옷감이 잘못 뭉칠 때
• 가슴 영역에 늘어남, 왜곡, 이상한 그림자가 있을 때
• 부드러운 곡선과 자연스러운 하이라이트를 원할 때
선택 사항이지만, 인물 중심 구성에는 매우 유용합니다.
🔸 유두 디테일러
이 디테일러는 세그멘테이션 모델에 크게 의존하며 실험이 필요할 수 있습니다. 유두 영역만 정제하여 일반적인 텍스처나 위치 문제를 수정하지만, 모델마다 결과가 다릅니다.
언제 사용해야 할까요?
유두 디테일러를 사용할 때:
• NSFW 콘텐츠를 생성할 때
• 모델의 기본 유두 렌더링이 일관되지 않을 때
• 더 선명한 디테일이나 현실적인 텍스처가 필요할 때
• 이 특정 영역에서 어려움을 겪는 체크포인트를 사용할 때
모델이 유두를 잘 렌더링한다면 이 기능은 꺼두세요. 그렇지 않다면 실험해볼 만한 가치가 있습니다.
🎛️ 디테일러 일반 조언
• 모든 디테일러를 동시에 사용할 필요는 없습니다. 이미지에 관련된 것만 활성화하세요.
• 초상화: 얼굴 + 눈이 가장 큰 향상을 줍니다.
• 전신샷: 사람 + 손만으로 충분한 경우가 많습니다.
• NSFW: 가슴 + 유두 + 사람 디테일러가 가장 강력한 정제를 제공합니다.
• 이미지가 과도하게 처리된 것처럼 보이면, 하나 또는 두 개를 끄세요.
디테일러는 지속적으로 사용하는 것이 아니라, 전략적으로 사용할 때 가장 빛납니다.
⭐ 디테일러 데몬 – 지능형 디테일을 위한 비밀 소스
디테일러 데몬(Impact Pack에서 제공)은 샘플러가 노이즈 제거 중 따르는 시그마 커브(노이즈 스케줄)를 조정해 이미지 정제를 향상시킵니다. 이 커브를 조절하면 렌더링 중 언제 디테일이 나타날지 더 정밀하게 제어할 수 있습니다.
이를 통해 다음을 할 수 있습니다:
• 노이즈 제거 초기 단계에서 구조적 디테일을 추가
• 나중에 미세하고 선명한 디테일을 추가해 깔끔한 마무리
• 과도한 선명도나 흐릿한 텍스처 감소
• SDXL, SD1.5, FLUX 등 다양한 모델에서 텍스처 처리 향상
이것을 디테일 타이밍 컨트롤러라고 생각하세요. 샘플러 설정에만 의존하지 않고, 데몬은 디테일의 흐름을 조정해 이미지가 더 부드럽고 깔끔하며 의도적으로 보이도록 합니다.
언제 사용해야 할까요?
디테일러 데몬을 켜야 할 때:
• 이미지가 너무 부드럽거나 정의가 부족할 때
• 디테일러가 너무 강하게 나오거나 과도한 선명도를 유발할 때
• 복잡한 샘플러 설정을 건드리지 않고도 부드럽고 일관된 정제를 원할 때
• 고해상도에서 미세한 텍스처를 더 잘 제어하고 싶을 때
• 스텝을 늘리거나 외부 업스케일러를 사용하지 않고도 더 많은 “마무리”를 원할 때
선택 사항이지만, 깔끔한 디테일 흐름에 익숙해지면 다시 돌아가기 어렵습니다.
설치 방법:
Impact Pack 다운로드:
https://github.com/ltdrdata/ComfyUI-Impact-Pack
다음 위치에 배치:
ComfyUI/custom_nodes/
ComfyUI를 재시작하면 디테일러 데몬이 준비됩니다.
⭐ ControlNets – 선택 가능한 시스템 설치 및 이해
ControlNets은 워크플로우의 “구조 보조자”입니다. 포즈, 에지, 깊이, 라인아트, 스케치 등의 외부 정보를 사용해 모델을 안내합니다. 모델이 프롬프트를 올바르게 해석할지 기대하는 대신, ControlNets은 올바른 방향으로 부드럽게(혹은 단단히) 밀어줍니다.
이 워크플로우에는 선택 가능한 ControlNet 시스템이 포함되어 있어 모든 것을 정리하고 관리하기 쉽습니다:
• 전체 ControlNet 그룹을 켜거나 끌 수 있음
• 필요한 개별 네트워크만 활성화 가능
• 그래프가 ControlNet 스파게티 괴물이 되는 것을 방지
SDXL ControlNets 다운로드 위치:
• https://huggingface.co/lllyasviel
• https://huggingface.co/InstantX/
• https://huggingface.co/thibaud
• https://civitai.com — “SDXL ControlNet” 검색
설치 위치:
ComfyUI/models/controlnet/
설치 후, 각 ControlNet Loader 내 드롭다운 메뉴에 자동으로 표시됩니다.
선택 시스템 작동 방식
- 주황색 박스 → ControlNet 전체 섹션 활성화/비활성화
- 노란색 박스 → 개별 ControlNet 켜기/끄기
- 화면 절반을 가득 채우지 않고 모두 정리되어 표시됩니다.
간단하게 시작하고, 프로젝트가 필요할 때만 추가 넷을 켜세요.
⭐ ControlNet은 언제 사용해야 할까요?
다음과 같은 경우 ControlNet을 활성화하세요:
• _특정 포즈_를 원하고 랜덤성과 싸우고 싶지 않을 때
• 모델이 따라야 하는 참조 스케치나 낙서가 있을 때
• 더 깔끔한 구조, 직선, 명확한 형태, 일관된 실루엣이 필요할 때
• 의도한 구성에서 이미지가 계속 벗어나는 경우
• 조명과 음영을 안내할 깊이 또는 엣지 정보가 필요할 때
• 캐릭터 일관성을 유지하고 모델에 맞게 유지하고 싶을 때
• 방대한 프롬프트를 작성하지 않고도 더 많은 제어를 원할 때
ControlNet은 선택 사항이지만, 익숙해지면 놀라울 정도로 강력합니다.
선택 시스템 덕분에 필요할 때 쉽게 켜고 끌 수 있습니다.
⭐ IPAdapter – 무엇이며 어떻게 설치하는가
IPAdapter는 워크플로우의 참조 해석기입니다. 이미지를 파이프라인에 입력하여 텍스트 프롬프트를 압도하지 않고도 스타일, 구성, 조명 또는 캐릭터 정체성을 모델이 따라가도록 유도할 수 있습니다.
구조를 강제하는 ControlNet과 달리, IPAdapter는 더 부드러운 영향을 줍니다:
“이것처럼 좀 더 보이게 해줘.”
이 워크플로우는 여러 IPAdapter 슬롯을 포함하여 여러 참조를 동시에 블렌딩하고, 각각에 맞춤형 가중치를 적용할 수 있습니다.
IPAdapter(SDXL 버전) 다운로드 위치:
• https://huggingface.co/h94/IP-Adapter/tree/main/sdxl
SDXL용 .safetensors 파일을 다운로드하세요.
CLIP Vision 모델 다운로드 위치(필수):
• https://huggingface.co/laion/CLIP-ViT-H-14-laion2B-s32B-b79K
설치 위치:
ComfyUI/models/ipadapter/
ComfyUI/models/clip_vision/
올바르게 설치하면 IPAdapter 노드에 자동으로 표시됩니다.
⭐ IPAdapter는 언제 사용해야 할까?
텍스트 프롬프트에만 의존하지 않고, 참조 이미지의 시각적 단서를 따라가고 싶을 때 IPAdapter를 켜세요.
다음과 같은 경우 특히 유용합니다:
• 캐릭터의 얼굴, 헤어스타일, 실루엣을 일치시키고 싶을 때
• 여러 이미지에서 캐릭터 정체성을 일관되게 유지하고 싶을 때
• 특정 조명 스타일이나 색상 팔레트를 선호할 때
• 단일 프롬프트만으로 원하는 결과를 얻기 어려울 때
• 여러 영향을 혼합하고 싶을 때 (예: 한 이미지의 스타일, 다른 이미지의 조명)
• 코스프레, 초상화, 또는 인식 가능한 유사성을 요구하는 작업을 할 때
IPAdapter는 엄격한 ControlNet 구조 없이도 안내가 필요할 때 훌륭하며, 정확한 형태를 강제하는 대신 이미지의 전반적인 분위기를 영향을 줍니다.
스타일이나 분위기 일치만 필요하다면, IPAdapter로 충분할 수 있습니다.
포즈나 정밀한 구조가 필요하다면 ControlNet과 함께 사용하세요.
⭐ LoRA 로더 그룹 – 여러 LoRA를 사용하는 가장 빠른 방법
LoRA 로더 그룹을 사용하면 여러 LoRA를 미리 로드하고, 긍정적 프롬프트를 더럽히지 않고 즉시 켜거나 끌 수 있습니다. 스타일, 캐릭터 정체성, 주제적 외관을 빠르고 일관되게 전환하고 싶을 때 이상적입니다.
매번 <lora:thinghere:0.8>와 같은 LoRA 가중치를 수동으로 입력할 필요 없이, 이 로더를 사용하면:
• 여러 LoRA를 한 번에 미리 로드
• 한 곳에서 가중치 조정
• 바이패서를 사용해 전체 그룹을 켜거나 끄기
• 주 프롬프트를 깔끔하고 읽기 쉽게 유지
각 그룹에는 해당 LoRA와 관련된 트리거 단어, 태그, 캐릭터 이름을 저장할 수 있는 편리한 문자열 박스도 포함되어 있어, 프롬프트에 복사/붙여넣기가 빠르고 간편합니다.
이 시스템은 프롬프트가 복잡해져 혼란이 생길 수 있는 고급 워크플로우에서 특히 유용합니다.
⭐ LoRA 로더 그룹은 언제 사용해야 할까?
다음과 같은 경우 LoRA 로더 그룹을 사용하세요:
• 다양한 스타일(애니메이션, 리얼리즘, 시네마틱, 회화적)을 자주 전환할 때
• 여러 캐릭터 LoRA를 빠르게 교체하고 싶을 때
• 주제 패키지(예: “사이버펑크 팩”, “판타지 갑옷 팩”)를 실험할 때
• 여러 렌더링에서 LoRA 가중치를 일관되게 유지하고 싶을 때
• 긴 LoRA 구문으로 프롬프트를 더럽히고 싶지 않을 때
• 다른 LoRA 구성이 필요한 일괄 생성을 수행할 때
이러한 모듈형 토글이 핵심 설계 원칙인 워크플로우에서는 특히 강력합니다.
가끔 하나의 LoRA만 필요하다면, 긍정적 프롬프트에 직접 추가해도 괜찮습니다.
그러나 LoRA가 생성 프로세스의 정기적인 부분이라면, 로더 그룹은 시간을 절약하고 불일치를 줄이며 모든 것을 정리해줍니다.