이중 체크포인트 TIPO 강화 SDXL 이미지 생성 (이것은 VRAM을 아침으로 먹습니다)

개요

이 포괄적인 ComfyUI 워크플로우는 이중 SDXL 기반 체크포인트를 활용하여 전례 없는 예술적 유연성을 달성하도록 설계되었습니다. 이 워크플로우는 여러 전문 모델의 장점을 결합하여 자동 매개변수 변동과 프로페셔널 수준의 세부 개선을 통해 고품질 출력물을 생성합니다.

주요 기능 및 장점

✨ 이중 체크포인트 시스템: 특화된 모델(예: IllustriousXL + Realistic SDXL)을 혼합하여 독창적인 예술 스타일 구현
🤖 TIPO 프롬프트 강화: KBlueLeaf의 TIPO-500M 모델을 사용한 자동 프롬프트 최적화
🎲 자동 랜덤화: 무한한 다양성을 위한 동적 비율, CFG, LoRA 선택
🔧 프로페셔널 디테일링: 멀티스테이지 얼굴, 손, 머리카락 개선
📐 ControlNet 통합: 유연한 선 예술 및 포즈 제어
🚀 최종 SD 업스케일: 타일 기반 개선을 통한 고해상도 출력

워크플로우 구조 및 종속성

필수 커스텀 노드

다음 커스텀 노드를 ComfyUI Manager를 통해 설치하세요:

• z-tipo-extension: TIPO 프롬프트 강화용

• comfyui-prompt-control: A1111 스타일 프롬프트 스케줄링

• ComfyUI-Impact-Pack: FaceDetailer 및 탐지 시스템

• ComfyUI_UltimateSDUpscale: 프로페셔널 업스케일링

• ComfyUI_Fill-Nodes: 랜덤 숫자 생성

• comfyui_controlnet_aux: ControlNet 전처리

• ComfyUI-Easy-Use: 워크플로우 자동화 보조 도구

필수 모델

주요 모델:

• SDXL 기반 체크포인트(IllustriousXL 추천)

• 고해상도 보정용 보조 SDXL 체크포인트

• 프롬프트 강화를 위한 TIPO-500M 모델

보조 모델:

• 세그멘테이션용 SAM 모델

• YOLO 탐지 모델(얼굴, 손, 머리카락)

• 4x 업스케일 모델(UltraSharp 추천)

• ControlNet 모델(선 예술, 포즈)

이중 체크포인트를 통한 예술적 자유

접근 방식

두 개의 서로 다른 SDXL 기반 모델을 순차적으로 사용하여 다음을 수행할 수 있습니다:

1. 초기 생성: 전문 체크포인트(예: IllustriousXL)를 사용하여 애니메이션 아티스트 및 캐릭터 일관성에 대한 풍부한 지식 활용

2. 고해상도 개선: 두 번째 체크포인트(예: Realistic SDXL)를 적용하여 디테일, 조명 및 전반적인 사실성 향상

이것이 중요한 이유

IllustriousXL은 압도적인 애니메이션 아티스트 지식과 캐릭터 일관성을 제공합니다:

• 우수한 캐릭터 해부학을 갖춘 방대한 애니메이션 데이터셋으로 학습됨

• 다른 모델에서 흔히 발생하는 손/발 아티펙트 제거

• 광범위한 포즈 및 구성 능력

Realistic SDXL 모델은 다음을 제공합니다:

• 고급 조명 및 텍스처 이해

• 사진적 사실성 디테일 개선

• 향상된 배경 및 환경 요소

• 훨씬 더 많은 아티스트 지식

조합 결과:

• 사실적인 조명과 텍스처를 갖춘 애니메이션 캐릭터

• 개선된 디테일 품질을 갖춘 일관된 캐릭터 특징

• 단일 모델 접근법으로는 불가능한 예술적 스타일

기술적 구현

TIPO 통합

**TIPO(Text to Image with text Presampling for Prompt Optimization)**는 프롬프트를 자동으로 강화합니다:

입력: "1girl, outdoors, sunset" TIPO 출력: "1girl, outdoors, sunset, masterpiece, best quality, amazing quality, very aesthetic, ultra-detailed, highly detailed, realistic, beautiful lighting, golden hour, warm colors, detailed background" 

구성:

• 모델: KBlueLeaf/TIPO-500M-ft

• 작업: short_to_tag_to_long

• 온도: 1.0, Top-p: 0.95

프롬프트 제어 기능

워크플로우는 고급 프롬프트 제어를 사용하여 다음을 지원합니다:

• A1111 스타일 문법: (emphasis:1.2), [negative], {choices|alternatives}

• LoRA 스케줄링: <lora:style:0.8:0.6> 및 동적 가중치

• 프롬프트 필터링: 생성 매개변수에 기반한 조건부 요소

• 지역 프롬프팅: 영역별 스타일링 및 제어

자동화 및 랜덤화

동적 매개변수 제어:

• 비율: 세로, 가로, 정사각형 형식에서 무작위 선택

• CFG 스케일: 다양한 예술적 해석을 위한 범위 기반 랜덤화(3.0–8.0)

• LoRA 선택: 카테고리화된 폴더에서 자동 로드 및 가중치 랜덤화

• 시드 관리: 반복 및 비교를 위한 증가 모드

프로페셔널 강화 파이프라인

멀티스테이지 디테일링

1. 얼굴 개선: 전문 모델을 사용한 주요 얼굴 탐지 및 개선

2. 손 디테일: 전용 YOLO 모델을 통한 손 개선

3. 머리카락 개선: 고급 머리카락 텍스처 및 디테일 강화

4. 최종 마무리: 조정 가능한 매개변수를 통한 종합적 디테일 패스

최종 SD 업스케일 통합

프로페셔널 업스케일 기능:

• 타일 기반 처리: 메모리 문제 없이 큰 이미지 처리

• 매끄러운 블렌딩: 고급 알고리즘을 통한 타일 경계 제거

• 다중 패스: 최대 품질을 위한 반복적 개선

• 설정 가능한 디노이즈: 디테일 추가와 원본 보존 간 균형 조정

설치 지침

1. 설치

# ComfyUI Manager 설치 cd ComfyUI/custom_nodes git clone https://github.com/ltdrdata/ComfyUI-Manager.git  # ComfyUI 재시작 후 Manager를 사용하여 필요한 노드 설치 

2. 모델 준비

필요한 모델 다운로드:

• SDXL 체크포인트는 models/checkpoints/에 배치

• HuggingFace에서 TIPO-500M 다운로드(TIPO 노드가 자동으로 수행해야 함)

• ComfyUI Manager를 통해 탐지 모델 설치

• 업스케일 모델은 models/upscale_models/에 구성

3. 워크플로우 로딩

1. 제공된 워크플로우 JSON 다운로드

2. ComfyUI 인터페이스를 통해 가져오기 또는 드래그 앤 드롭

3. 프롬프트 시 필요한 노드 설치

4. 모델 경로 및 설정 구성

사용 가이드:

기본 운영

1. 주요 체크포인트 설정: 주요 예술 모델 선택(IllustriousXL 추천)

2. 보조 체크포인트 구성: 고해상도 보정용 개선 모델 선택

3. 기본 프롬프트 입력: TIPO가 강화할 간단한 설명

4. 매개변수 조정: 품질 선호도 및 생성 횟수 설정

5. 생성 큐에 추가: 자동화가 나머지를 처리

고급 구성

최대 예술적 제어를 위한 설정:

• LoRA 카테고리 및 가중치 수정

• 디테일링 패스 및 강도 조정

• 포즈/구성 제어를 위한 ControlNet 입력 구성

• 출력 품질을 위한 업스케일 매개변수 세밀 조정(해상도를 64로 나누어 떨어지도록 확인)

최선의 실천 방법

• 간단하게 시작: 복잡성을 추가하기 전 기본 설정으로 시작

• 단계적으로 테스트: 문제를 격리하기 위해 기능을 하나씩 활성화

• 자원 모니터링: 긴 생성 동안 GPU 메모리 사용량 확인

• 설정 저장: 재현 가능한 결과를 위해 ComfyUI의 워크플로우 저장 기능 활용