LoraManager Studio Workflow - Multi-LoRA + FaceDetailer + Upscale

ComfyUI 워크플로우: 얼굴 향상 및 업스케일링을 포함한 고급 다단계 이미지 생성

이 워크플로우는 모듈식 아키텍처와 지능형 노드 선택을 통해 뛰어난 유연성을 입증하는 고급 다단계 이미지 생성 파이프라인을 구현합니다. 이 워크플로우는 효율성과 출력 품질을 유지하면서 생성 프로세스의 모든 측면에 최대한의 제어를 제공하도록 설계되었습니다.

워크플로우 아키텍처 및 노드 분석

모델 로딩 인프라

CheckpointLoader|pysssss 노드 이 향상된 체크포인트 로더는 표준 로더를 넘어서 추가 기능을 제공합니다. 프롬프트 예시 출력과 동적 모델 전환 기능을 갖추고 있습니다. 이 노드는 세 가지 핵심 구성 요소를 출력합니다: MODEL(U-Net), CLIP(텍스트 인코더), VAE(변분 오토인코더). pysssss 버전은 메타데이터 보존 및 예시 프롬프트 생성 기능을 제공하여 워크플로우 문서화 및 공유에 매우 유용합니다.

CheckpointLoaderSimple 노드 워크플로우 내에서 전략적으로 배치된 보조 체크포인트 로더로, 특정 파이프라인 단계에서 모델 전환을 가능하게 합니다. 이 이중 로더 아키텍처는 사용자가 다양한 모델의 장점을 활용할 수 있게 합니다. 예를 들어, 일반적인 구성에 최적화된 모델과 얼굴 특징 또는 특정 스타일에 특화된 모델을 별도로 사용할 수 있습니다.

다중 체크포인트 지원의 장점:

• 다양한 모델의 장점을 결합한 하이브리드 워크플로우 가능

• 각 파이프라인 단계에 맞는 특화된 모델 사용 (기초 생성 vs. 정제)

• 다양한 예술 스타일에 대한 백업 옵션 제공

• 동일한 워크플로우 내에서 A/B 테스트 가능

• 도메인별 최적화 지원 (현실적 vs. 스타일리시 콘텐츠)

고급 프롬프트 처리 시스템

Power Prompt - Simple (rgthree) 노드 이 노드는 기본 텍스트 입력을 넘는 정교한 프롬프트 처리 기능을 제공합니다:

• 동적 임베딩 삽입 기능

• 실시간 프롬프트 미리보기 및 유효성 검사

• 프롬프트 가중치 구문 지원

• 자동 프롬프트 최적화

• 여러 출력 유형(CONDITIONING 및 TEXT) 지원. 이 노드는 컴보 필터링과 프롬프트 기록을 유지하여 반복적 개선을 보다 효율적으로 만듭니다.

JoinStringMulti 노드 여러 텍스트 입력을 사용자 정의 구분자로 지능적으로 결합하는 강력한 문자열 연결 노드입니다. 주요 기능:

• 동적 입력 수 조정

• 올바른 프롬프트 형식을 위한 구분자 사용자 정의

• 일괄 처리를 위한 목록 반환 옵션

• 연결된 요소 간 적절한 간격 및 구문 유지. 이 노드는 기본 프롬프트에 동적 생성된 트리거 단어 또는 스타일 수정자를 결합하는 데 필수적입니다.

ShowText|pysssss 노드 단순한 표시 노드를 넘어서 다음과 같은 기능을 제공합니다:

• 구문 강조 표시를 통한 실시간 프롬프트 시각화

• 복잡한 프롬프트를 위한 큰 표시 영역(380x293px)

• 워크플로우 계속을 위한 문자열 통과

• 프롬프트 구축 검증을 위한 디버깅 기능

CLIPTextEncode 노드(긍정 및 부정) 이 노드들은 핵심적인 텍스트에서 임베딩으로의 변환을 수행합니다:

• 입력 텍스트를 CLIP 호환 형식으로 토큰화

• 가중치 정규화 및 어텐션 맵핑

• 긍정적 및 부정적 조건화를 별도로 처리

• 파이프라인 전반에 걸쳐 임베딩 일관성 유지. 이 워크플로우는 긍정 및 부정 프롬프트를 별도로 처리하기 위해 두 개의 인스턴스를 사용하여 생성 프로세스에 더 정밀한 제어를 가능하게 합니다.

LoRA 관리 시스템

Lora Loader (LoraManager) 노드 이 정교한 노드는 LoRA 처리에 있어 큰 진전을 보여줍니다:

• 동적 다중 LoRA 로딩: 개별 강도 제어를 통해 여러 LoRA 모델을 동시에 관리

• 트리거 단어 추출: 로드된 LoRA에서 자동으로 트리거 단어를 추출하고 출력

• Clip 강도 독립성: 모델 및 CLIP 수정을 위한 별도의 강도 제어

• 스택 관리: 연쇄 효과를 위한 LoRA 스택 유지

• 실시간 토글 시스템: 다시 로딩 없이 각 LoRA를 활성화/비활성화 가능

• 메타데이터 보존: 재현성을 위해 완전한 LoRA 구성 유지

TriggerWord Toggle (LoraManager) 노드 다음을 포함하는 지능형 트리거 단어 관리 시스템입니다:

• 활성화된 LoRA에 따라 활성 트리거 단어 필터링

• 일괄 트리거 관리를 위한 그룹 모드 지원

• 기본 활성화 상태 제공

• LoRA 상태에 따라 프롬프트 생성을 동적으로 업데이트

• 트리거 단어 충돌 및 중복 방지

차원 및 잠재 공간 관리

AspectRatioImageSize 노드 고급 차원 계산기로 다음을 제공합니다:

• 다양한 해상도 간 비율 유지

• 사전 설정 비율(4:3, 16:9, 1:1 등) 제공

• 모델 호환성을 위한 최적 차원 계산

• 수직/수평 방향 전환 지원

• 워크플로우 문서화를 위한 차원 레이블 출력

• VAE 호환을 위해 8로 나누어 떨어지는 차원 보장

EmptyLatentImage 노드 잠재 공간 초기화기로 다음을 수행합니다:

• 잠재 공간 내 노이즈 텐서 생성

• 배치 생성 지원

• 잠재 표현을 통한 메모리 효율 유지

• 재현 가능한 결과를 위한 일관된 초기화 제공

주요 생성 파이프라인

KSampler (주요 생성) 노드 광범위한 구성 옵션을 갖춘 핵심 샘플링 노드입니다:

• 스케줄러 통합: Karras, 지수, 단순 등 다양한 노이즈 스케줄러 지원

• 샘플러 선택: DPM++, Euler, DDIM 등 다양한 샘플링 알고리즘 제공

• 적응형 스텝 제어: 수렴에 따른 동적 스텝 조정

• CFG 스케일 제어: Classifier-free 가이던스 강도 조정

• 시드 관리: 고정 및 랜덤 시드 모두 지원

• GPU 최적화: GPU 실행을 위해 특별히 최적화된 샘플러

VAEDecode 노드 잠재-이미지 디코더로 다음을 제공합니다:

• 잠재 텐서를 픽셀 공간으로 변환

• 올바른 정규화 해제를 통한 색상 정확성 유지

• 배치 처리 효율적 처리

• 디코딩 중 미세한 세부사항 보존

• 메모리 최적화를 위한 타일 디코딩 지원

얼굴 감지 및 향상 시스템

UltralyticsDetectorProvider 노드 최신 감지 시스템으로 다음을 제공합니다:

• 얼굴 감지를 위한 YOLOv8 모델 통합

• 신뢰도 점수와 함께 바운딩 박스 생성

• 세그멘테이션 마스크 기능

• 다중 얼굴 감지 지원

• 감지 임계값 조정 가능

• 실시간 감지 성능

FaceDetailer 노드 워크플로우에서 가장 복잡한 향상 노드입니다:

• 감지 통합: 감지기에서 생성된 바운딩 박스 처리

• 가이드드 인페인팅: 감지된 영역에 타겟팅된 인페인팅 수행

• 해상도 확대: 세부 작업을 위해 얼굴 영역을 2560px까지 확대

• 적응형 노이즈 제거: 보존을 위한 변수 노이즈 제거 강도(0.44)

• 페더링 제어: 4픽셀 페더링을 통한 부드러운 블렌딩

• 마스크 생성: 얼굴 영역에 정밀한 마스크 생성

• SAM 모델 지원: 선택적 Segment Anything 모델 통합

• 크롭 요소 제어: 컨텍스트 보존을 위한 1.5x 크롭 요소

• 반복적 정제: 여러 향상 사이클 지원

• 노이즈 마스크 옵션: 자연스러운 블렌딩을 위한 고급 마스킹 전략

• 감지 힌트: 중심점 감지 최적화

해상도 향상 파이프라인

ImageResizeKJv2 노드 고급 리사이징 시스템으로 다음 기능을 제공합니다:

• 여러 보간 방법(최근접, 바이릴리너, 바이큐빅, 랜초스)

• 비율 유지 옵션

• 사용자 정의 색상으로 스마트 패딩

• 크롭 위치 제어(중심, 상단, 하단 등)

• 모델 호환성을 위한 가 divisibility 강제

• CPU/GPU 처리를 위한 장치 선택

• 마스크 인식 리사이징 기능

VAEEncode 노드 이미지-잠재 인코더로 다음을 제공합니다:

• 잠재 공간으로의 효율적 압축

• 확률적 생성을 위한 변분 인코딩

• 배치 처리 지원

• 타일 인코딩을 통한 메모리 최적화

• 색상 공간 정규화

KSampler (정제) 노드 보조 샘플링 단계로 다음을 포함합니다:

• 40단계 확장 정제 프로세스

• 세부사항 보존을 위한 낮은 노이즈 제거(0.45)

• 품질 향상하면서 구성 유지

• 정제를 위한 다양한 샘플러/스케줄러 조합

• 목표 개선을 위한 잠재 공간 조작

UpscaleModelLoader 노드 다음을 지원하는 신경망 업스케일러 로더입니다:

• 여러 업스케일링 아키텍처(ESRGAN, Real-ESRGAN 등)

• 모델 핫스왑 기능

• VRAM 최적화

• 다양한 확대 배수(2x, 4x, 8x)

ImageUpscaleWithModel 노드 AI 기반 업스케일링 실행으로 다음을 제공합니다:

• 메모리 효율을 위한 타일 기반 처리

• 에지 보존 알고리즘

• 업스케일링 중 세부사항 향상

• 배치 처리 지원

• 색상 일관성 유지

메타데이터 및 출력 관리

Debug Metadata (LoraManager) 노드 세 개의 인스턴스가 종합적인 추적을 제공합니다:

• 전체 생성 매개변수 로깅

• LoRA 구성 보존

• 시드 및 샘플러 설정

• 해상도 및 스텝 정보

• 파싱용 JSON 형식 출력

• 워크플로우 상태 문서화

• 버전 제어 호환성

SaveImage 노드 다음을 포함하는 여러 저장 지점:

• 사용자 정의 파일 이름 패턴

• 디렉토리 구성 지원

• 이미지 내 메타데이터 임베딩

• 포맷 선택 기능

• 증분 번호 시스템

• 정리용 하위 폴더 생성

ReroutePrimitive|pysssss 노드 워크플로우 조직용 유틸리티로 다음을 제공합니다:

• 깔끔한 연결 라우팅

• 연결 간 타입 안전성 유지

• 모듈식 워크플로우 섹션 가능

• 시각적 데이터 흐름을 통한 디버깅 지원

• 시각적 복잡성 감소

워크플로우 제어 및 조직

Fast Groups Muter (rgthree) 노드 고급 워크플로우 제어로 다음을 제공합니다:

• 섹션별 활성화/비활성화 기능

• 색상 코딩을 통한 시각적 그룹화

• 선택적 실행을 통한 성능 최적화

• 테스트 및 디버깅 기능

• 일괄 처리 제어

• 선택적 로딩을 통한 메모리 관리

이 노드 구성의 기술적 장점

1. 파이프라인 모듈성 각 처리 단계는 독립적으로 작동하여 다음을 가능하게 합니다:

• 개별 단계 최적화

• 문제 진단 및 수정 용이

• 워크플로우 섹션의 병렬 개발

• 다른 워크플로우 간 컴포넌트 재사용

2. 점진적 향상 아키텍처 세 단계 접근법(생성 → 향상 → 업스케일링)은 다음을 보장합니다:

• 각 단계에서 품질 향상

• 단계별 처리를 통한 계산 효율성

• 어떤 단계라도 실패할 경우 백업 옵션 제공

• 점진적 품질 제어

3. 지능형 자원 관리 워크플로우는 다음을 통해 자원 사용을 최적화합니다:

• 메모리 효율을 위한 잠재 공간 처리

• 선택적 고해상도 처리(얼굴만)

• 대형 이미지용 타일 작업

• 장치별 최적화 옵션

4. 포괄적 상태 관리 여러 체크포인트 및 모니터링 노드는 다음을 보장합니다:

• 완전한 재현성

• 버전 제어 호환성

• 최적화를 위한 매개변수 추적

• 각 단계에서의 디버깅 기능

5. 유연한 처리 경로 노드 배열은 다음을 지원합니다:

• 테스트용 스킵 연결

• 대체 처리 경로

• A/B 테스트 설정

• 점진적 복잡성 도입

이 워크플로우는 ComfyUI 노드 선택 및 배열의 모범 사례를 보여주며, 신중한 노드 선택과 파이프라인 아키텍처가 어떻게 유연하고 강력하며 유지보수 가능한 이미지 생성 시스템을 구축할 수 있는지를 보여줍니다. 모듈성, 품질 향상, 포괄적 제어에 초점을 맞춘 이 워크플로우는 예술적 탐색은 물론 일관적이고 고품질의 출력이 요구되는 생산 워크플로우에 모두 적합합니다.

이 워크플로우를 위한 ComfyUI 종속성

필수 커스텀 노드 패키지:

1. ComfyUI-Impact-Pack

   • GitHub: ltdrdata/ComfyUI-Impact-Pack

   • 제공 기능: FaceDetailer, UltralyticsDetectorProvider

   • 얼굴 감지 및 향상에 필수적

2. ComfyUI-LoraManager

   • GitHub: Suzie1/ComfyUI-LoraManager

   • 제공 기능: Lora Loader, Debug Metadata, TriggerWord Toggle

   • 다중 LoRA 관리 시스템에 필수적

3. rgthree-comfy

   • GitHub: rgthree/rgthree-comfy

   • 제공 기능: Fast Groups Muter, Power Prompt - Simple

   • 워크플로우 조직 및 고급 프롬프팅

4. ComfyUI-Custom-Scripts

   • GitHub: pythongosssss/ComfyUI-Custom-Scripts

   • 제공 기능: ShowText|pysssss, ReroutePrimitive|pysssss, CheckpointLoader|pysssss

   • UI 개선 및 워크플로우 유틸리티

5. ComfyUI-KJNodes

   • GitHub: kijai/ComfyUI-KJNodes

   • 제공 기능: JoinStringMulti, ImageResizeKJv2

   • 문자열 연산 및 고급 이미지 리사이징

6. ComfyUI-Studio-Nodes (선택 사항이지만 권장)

   • GitHub: comfyuistudio/ComfyUI-Studio-nodes

• 제공: AspectRatioImageSize

• 편리한 비율 계산

필요한 모델:

감지 모델:

• bbox/face_yolov8m.pt - 얼굴 감지 모델

• 자동 다운로드 위치: ComfyUI/models/ultralytics/bbox/

업스케일 모델:

• 4x-AnimeSharp.pth - 업스케일링 모델

• 다운로드 위치: OpenModelDB 또는 Upscale Wiki

• 위치: ComfyUI/models/upscale_models/

체크포인트 모델: (사용자 제공)

• 선택한 기본 체크포인트

• 선택한 정제 체크포인트 (예: ponyRealism_V23ULTRA)

LoRA 모델: (사용자 제공)

• 워크플로우에서 참조된 모든 LoRA

설치 방법:

옵션 1: ComfyUI Manager (추천)

1. 먼저 ComfyUI-Manager를 설치하세요

2. "Install Missing Custom Nodes" 버튼 사용

3. 모든 종속성을 자동 감지하고 설치합니다

옵션 2: 수동 설치

cd ComfyUI/custom_nodes

# 각 종속성 설치
git clone https://github.com/ltdrdata/ComfyUI-Impact-Pack.git
git clone https://github.com/Suzie1/ComfyUI-LoraManager.git
git clone https://github.com/rgthree/rgthree-comfy.git
git clone https://github.com/pythongosssss/ComfyUI-Custom-Scripts.git
git clone https://github.com/kijai/ComfyUI-KJNodes.git
git clone https://github.com/comfyuistudio/ComfyUI-Studio-nodes.git

# Impact Pack의 Python 종속성 설치
cd ComfyUI-Impact-Pack
python install.py

추가 Python 종속성:

일부 노드는 추가 Python 패키지를 필요로 할 수 있습니다:

• Impact Pack: ultralytics, segment-anything, mmdet

• KJNodes: 일부 작업에 numba가 필요할 수 있습니다

참고 사항:

• 핵심 ComfyUI 노드(KSampler, VAEDecode, CLIPTextEncode 등)는 기본 ComfyUI에 포함되어 있습니다

• 일부 노드는 처음 실행 시 자동으로 자체 종속성을 설치할 수 있습니다

• CUDA/GPU 오류가 발생하면 PyTorch 버전이 CUDA 버전과 일치하는지 확인하세요

• 종속성이 누락되면 워크플로우에 빨간색/누락된 노드가 표시됩니다

좋은 소식은 ComfyUI Manager를 사용하면 워크플로우를 로드할 때 누락된 모든 노드를 자동으로 감지하고 설치할 수 있다는 것입니다!