Flux Nunchaku Ultimate SD Upscale Workflow

admajicadmajic
31
478
upscale도구ultimate sd upscalenunchakufluxkontext
v1.0

세부 정보

파일 다운로드

모델 설명

# 🚀 Nunchaku 설정을 사용한 SD 최종 업스케일러 설정 가이드

이 가이드는 최적의 결과를 위한 Florence2 자동 캡셔닝을 포함하여 Nunchaku와 함께 향상된 SD 최종 업스케일러 워크플로우의 전체 설정을 다룹니다.

## 🔧 사전 요구 사항

- 설치되어 작동 중인 ComfyUI

- NVIDIA GPU (8GB 이상 VRAM, 권장: 12GB 이상)

- CUDA 12.6+ (권장: 12.9)

## 📦 커스텀 노드 설치

### 필수 노드

- [ComfyUI_UltimateSDUpscale](https://github.com/ssitu/ComfyUI_UltimateSDUpscale)

고해상도 이미지용 타일 업스케일링 기능 제공

- [ComfyUI-nunchaku](https://github.com/nunchaku-tech/ComfyUI-nunchaku)

초고속을 위한 양자화된 Flux 모델

- [ComfyUI-Florence2](https://github.com/spacepxl/ComfyUI-Florence2)

더 나은 업스케일링 프롬프트를 위한 자동 이미지 캡셔닝

- [rgthree-comfy](https://github.com/rgthree/rgthree-comfy)

이미지 비교 도구

- [was-node-suite-comfyui](https://github.com/WASasquatch/was-node-suite-comfyui)

고급 저장 옵션

### 설치 방법

- 모든 리포지토리를 ComfyUI/custom_nodes/에 클론하세요

- 설치 후 ComfyUI를 재시작하세요

## 📁 파일 구조 및 모델 다운로드

### 디렉토리 구조

```

ComfyUI/

├── models/

│ ├── checkpoints/ # Nunchaku 모델

│ ├── clip/ # 텍스트 인코더

│ ├── vae/ # VAE 모델

│ ├── upscale_models/ # AI 업스케일러

│ └── loras/ # LoRA 모델 (선택 사항)

```

### 🤖 Nunchaku 모델

출처: mit-han-lab/nunchaku-flux.1-dev

- RTX 20s/30s/40s: svdq-int4_r32-flux.1-kontext-dev.safetensors

- RTX 50 시리즈: svdq-fp4_r32-flux.1-kontext-dev.safetensors

- 설치 위치: models/checkpoints/

### 📝 텍스트 인코더

출처: comfyanonymous/flux_text_encoders

- t5xxl_fp16.safetensors (~9.79GB)

- ViT-L-14-TEXT-detail-improved-hiT-GmP-TE-only-HF.safetensors (~246MB)

- 설치 위치: models/clip/

### 🎨 VAE 모델

출처: black-forest-labs/FLUX.1-schnell

- flux_vae.safetensors (~335MB)

- 설치 위치: models/vae/

### 🔍 업스케일러 모델

권장 옵션:

- 4x_NMKD-Siax_200k.pth

- 4x-UltraSharp.pth

- RealESRGAN_x4plus.pth

- 설치 위치: models/upscale_models/

### 🎯 LoRA 모델 (선택 사항)

- 품질 향상을 위한 사진실감형 LoRA

- 설치 위치: models/loras/Flux/

## 🧠 Florence2 설정

### 모델 다운로드

Florence2는 워크플로우를 처음 실행할 때 자동으로 다운로드됩니다:

- 모델: microsoft/Florence-2-large

- 크기: 약 1.5GB

- 용도: 자동 이미지 분석 및 프롬프트 생성

## 📋 전체 워크플로우 기능

### 🎨 워크플로우 구성 요소

| 노드 | 목적 | 주요 설정 |

|------|---------|--------------|

| LoadImage | 이미지 입력 | 다양한 포맷 지원 |

| Florence2 | 자동 프롬프트 생성 | 이미지 내용 자동 분석 |

| NunchakuFluxDiTLoader | 양자화된 모델 로드 | INT4/FP4 버전 제공 |

| NunchakuFluxLoraLoader | LoRA 강화 적용 | 스타일 향상을 위한 옵션 |

| UltimateSDUpscale | 주 업스케일링 엔진 | 타일 처리 및 이음새 수선 기능 |

| Image Comparer | 전후 비교 | 좌우 비교 시각화 |

## ⚙️ Ultimate SD 업스케일러 설정 (실제 워크플로우 기반)

### 🎯 현재 워크플로우 설정

| 파라미터 | 현재 값 | 목적 | 대안 옵션 |

|-----------|---------------|---------|-------------------|

| upscale_by | 2.0 | 업스케일 배수 | 높은 배율을 위한 4.0, 6.0, 8.0 |

| steps | 20 | 품질 스텝 | 빠른 처리: 12-16, 최고 품질: 26+ |

| cfg | 1.0 | 항상 1.0으로 유지 | Flux 모델에서는 절대 변경 금지 |

| denoise | 0.1 | 보수적 강화 | 더 큰 변화를 원할 경우 0.15-0.30 |

| sampler | "euler" | 샘플링 방법 | dpmpp_2m, dpmpp_sde 대안 |

| scheduler | "normal" | 노이즈 스케줄링 | karras, exponential 옵션 |

### 🧩 타일 처리 설정

| 파라미터 | 현재 값 | 목적 | VRAM 최적화 |

|-----------|---------------|---------|-------------------|

| tile_width/height | 1024 | 처리 단위 | 768 (8-10GB), 512 (6-8GB) |

| mask_blur | 8 | 타일 경계 부드러움 | 부드럽게 하려면 12-16 |

| tile_padding | 32 | 타일 오버랩 | 더 나은 이음새를 위해 48-64 |

### 🔧 이음새 수선 설정

| 파라미터 | 현재 값 | 목적 | 조정 시기 |

|-----------|---------------|---------|----------------|

| seam_fix_mode | "Band Pass" | 타일 경계 수선 | 속도 우선: "None", 대안: "Half Tile" |

| seam_fix_denoise | 1.0 | 이음새 혼합 강도 | 아티팩트 발생 시 감소 |

| seam_fix_width | 64 | 이음새 처리 폭 | 이미지 복잡도에 따라 32-128 |

| seam_fix_padding | 16 | 이음새 오버랩 영역 | 복잡한 이미지일수록 증가 |

## 🎨 Florence2 자동 프롬프트 생성

### 작동 방식

1. 자동 분석: Florence2가 입력 이미지를 분석합니다

2. 캡션 생성: 상세한 설명을 생성합니다

3. 프롬프트 강화: 설명을 기반으로 더 나은 업스케일링 프롬프트를 생성합니다

4. 수동 수정: 생성된 프롬프트는 여전히 직접 편집 가능합니다

### 장점

- 더 나은 결과: AI가 이미지 내용을 정확히 이해합니다

- 일관성: 업스케일링 중 이미지 특징을 유지합니다

- 시간 절약: 이미지를 수동으로 설명할 필요가 없습니다

- 정확성: 중요한 시각적 요소를 보존합니다

## 🚦 최적화 프리셋

### ⚡ 속도 프리셋 (빠른 미리보기)

```json

{

"upscale_by": 2.0,

"steps": 12,

"denoise": 0.1,

"seam_fix_mode": "None"

}

```

### ⚖️ 균형 프리셋 (현재 워크플로우)

```json

{

"upscale_by": 2.0,

"steps": 20,

"denoise": 0.1,

"seam_fix_mode": "Band Pass"

}

```

### 💎 품질 프리셋 (최대 세부 정보)

```json

{

"upscale_by": 4.0,

"steps": 26,

"denoise": 0.2,

"seam_fix_mode": "Band Pass"

}

```

### 🔋 저 VRAM 프리셋 (8GB GPU용)

```json

{

"tile_width": 768,

"tile_height": 768,

"steps": 16,

"seam_fix_mode": "None"

}

```

## 📱 워크플로우 사용 방법

### 단계별 절차

1. 이미지 로드: 이미지를 LoadImage 노드에 드래그

2. 자동 분석: Florence2가 이미지를 자동으로 설명합니다

3. 프롬프트 확인: ShowText 노드에서 생성된 캡션을 확인

4. 설정 조정: 필요 시 업스케일링 파라미터 수정

5. 워크플로우 실행: 전체 파이프라인 실행

6. 결과 비교: Image Comparer로 전후 비교

7. 출력 저장: 타임스탬프 기반으로 자동 저장

### 🎯 프롬프트 사용자 정의

워크플로우는 자동 프롬프트 생성을 사용하지만, 다음과 같이 강화할 수 있습니다:

사진용:

```

[Florence2 caption] + 매우 상세함, 선명한 초점, 프로페셔널 사진, 강화된 디테일

```

아트용:

```

[Florence2 caption] + 생동감 있는 색상, 선명한 선, 프로페셔널 품질, 강화된 디테일

```

## 🔧 문제 해결

### 💥 메모리 문제

- 타일 크기를 768 또는 512로 줄이세요

- 스텝을 12-16로 낮추세요

- 임시로 이음새 수선을 비활성화하세요

- 업스케일 배수를 2x로 줄이세요 (4x 대신)

### 🧩 보이는 이음새

- "Band Pass" 이음새 수선을 활성화한 채로 유지

- tile_padding을 48-64로 증가

- mask_blur을 12-16로 증가

- seam_fix_width이 충분한지 확인 (64-128)

### 🐌 느린 성능

- 스텝을 12-16로 줄이세요

- seam_fix_mode를 "None"으로 설정

- 4x 이상이 아닌 2x 업스케일링 사용

- VRAM 여유가 있으면 타일 크기를 증가

### 🎭 Florence2 문제

- 최초 실행 시 시간이 오래 걸림 (모델 다운로드)

- Florence2가 로드되지 않으면 ComfyUI를 재시작

- 초기 다운로드 시 인터넷 연결 확인

## ⏱️ 성능 벤치마크

| GPU | VRAM | 설정 | 처리 시간 |

|-----|------|----------|-----------------|

| RTX 4090 | 24GB | 2x 업스케일, 1024px 타일, 20 스텝 | 15-30초 |

| RTX 4080 | 16GB | 2x 업스케일, 1024px 타일, 16 스텝 | 25-45초 |

| RTX 3080 | 10GB | 2x 업스케일, 768px 타일, 16 스텝 | 45-75초 |

| RTX 3070 | 8GB | 2x 업스케일, 768px 타일, 12 스텝 | 60-90초 |

## 🎁 워크플로우 장점

### 🚀 속도 장점

- Nunchaku 양자화: 표준 Flux 대비 3-5배 빠름

- 스마트 타일링: 메모리 효율적

- LoRA 통합: 속도 저하 없이 품질 향상

### 🎯 품질 기능

- Florence2 분석: 지능형 프롬프트 생성

- 이음새 수선: 프로페셔널한 타일 혼합

- 비교 도구: 전후 평가가 쉬움

- 유연한 확대: 2x에서 8x까지 확대 옵션

### 🛠️ 사용자 경험

- 자동 워크플로우: 수동 입력 최소화

- 시각적 피드백: 내장된 이미지 비교 기능

- 정리된 출력: 타임스탬프 기반 파일명

- 메모리 효율: 소비자 GPU에서도 작동

이 모델로 만든 이미지

이미지를 찾을 수 없습니다.