Nicholas Quail - SX-4 - Detailer (PRO) [Background & Character]

기본 생성물을 놀라운 걸작 예술로 변환하는 제 개인 워크플로우는 다음과 같습니다: NQ - SX-4 - Scene (PRO) 및 NQ - SX-4 - Char (PRO). 저는 단 하나의 탐지기 및 디테일러만 사용하여 모델이 매우 높은 해상도로 나머지 작업을 수행하도록 하며, 이로 인해 VRAM 비용 대비 뛰어난 품질을 얻을 수 있습니다.

디테일링 체인

첫째, 원시 이미지를 가져와 배경(장면) 디테일러를 거칩니다. 이는 SAM PERSON 탐지기 person_yolov8m-seg.pt를 마스크 반전과 함께 사용하여 인물을 감지한 후, 마스크를 반전시켜 캐릭터를 제외한 모든 부분을 재생성합니다. 마스크와 캐릭터의 블렌딩이 완벽하게 조정되었지만, 기본 vit_b 버전보다 훨씬 뛰어난 품질과 정확도를 위해 sam_vit_h_4b8939.pth를 사용하는 것을 권장합니다. 기본 vit_b는 이 방식에 잘 작동하지 않을 수 있으며, 모든 설정은 특별히 vit_h에 맞춰 최적화되었습니다. 그러나 걱정하지 마세요. 체인 내 적절한 위치에 몇 개의 V-RAM 정리 노드를 추가했으므로, 더 많은 하드웨어 자원을 요구하는 vit_h 탐지에 필요한 3GB VRAM은 실제 생성이 시작되기 직전에 정리됩니다. 더 나은 품질의 탐지로 인해 VRAM을 잃지 않으며, 이번에는 실제 디테일링을 위해 모든 MB의 VRAM이 필요합니다. 이는 하드웨어에 부하가 큰 작업입니다. 크롭 영역은 guide_size 2160px로 캡처되어 3070px로 업스케일됩니다. 이는 전체 이미지를 약 수직/수평 2K 해상도로 고화질로 캡처한 후, 배경만 4K 해상도로 업스케일하고 4K에서 재생성함을 의미합니다. 이는 디테일러 LoRA 유무에 관계없이 많은 아름다운 디테일을 추가합니다. 자세한 내용은 나중에 설명합니다.

원시 이미지 (예시) - 1152x1408 해상도로 생성

배경 디테일러

* 이 프로세스는 최종 VAE 디코딩 동안 최대 15.2GB까지 사용되며, 평균적으로 약 10GB VRAM을 소모하도록 최적화되어 VRAM 오버플로나 손상된 생성, 강제 박스 디코딩이 발생하지 않습니다. 이는 항상 컨트롤넷으로 이미지를 손상시킵니다. 업스케일링이 원활하게 작동하려면 모든 프로세스를 VRAM에 맞춰야 합니다. 현재 워크플로우 설정으로는 16GB GPU에 완벽하게 적합하며, RTX 4080, RTX 5080 등에 최적화되었습니다. 문제 발생 시 슬라이더로 가이드 값을 약간 낮추거나 최대 업스케일 해상도 값을 줄이세요. 이 경우 품질이 다소 저하됩니다. 16GB GPU에는 필요 없으며, 12GB와 8GB GPU의 경우 약간 낮추는 것이 좋습니다.

둘째, 이미 배경이 디테일링된 이미지를 캐릭터 디테일러에 통과시킵니다. 이는 동일한 탐지기를 사용하지만 마스크 반전 없이, 캐릭터와 그 주변 픽셀의 버퍼만 업스케일합니다. 이러한 버퍼는 아름다운 배경이 깨지지 않도록 하기 위해 필요합니다. 예를 들어, 정렬되지 않은 선, 이상한 블렌딩 등이 발생할 수 있습니다. 캐릭터 가장자리에 약간의 배경을 캡처한 후, 노이즈 마스크를 통해 적절히 블렌딩하여 AI가 캐릭터 주변의 정보를 파악하고, 이미 디테일링된 배경을 손상시키지 않도록 해야 합니다. 대부분의 기본 디테일러 설정, 표준 디테일러나 SEGS 디테일러 모두 이를 망칠 수 있습니다. 저는 다양한 색상과 노출 촬영을 통해 모든 설정을 개인적으로 조정했으며, 약 8/10의 경우 원하는 대로 작동합니다.

제 방법의 장점은 몸체 부위 등 추가 디테일러가 필요 없다는 것입니다. SFW 및 NSFW 모두에 적용 가능합니다. 4K 생성에서 특정 신체 부위의 품질은 하위 해상도에서의 원시 디테일러보다 훨씬 뛰어납니다. 그러나 원하지 않는 부분이 있다면, 4K에서 특정 작은 신체 부위를 개선하기 위한 추가 디테일러 체인을 거쳐 업스케일된 이미지를 다시 통과시킬 수 있습니다. 이는 이미 워크플로우에 포함되어 있으므로, 원하는 디테일러를 선택하여 추가 체인에 연결하시면 됩니다. 하지만 저는 이 과정이 필요하다고 느낀 적이 없습니다. 여러분의 선택입니다.

캐릭터 디테일러

* 이 프로세스는 평균 약 8GB VRAM을 소모하며 최대 12.4GB까지 사용되므로 VRAM 오버플로 및 박스 디코딩으로 인한 손상된 생성이 없습니다. 앞서 언급한 대로 모든 것이 16GB GPU에 최적화되어 있습니다.

NQ - SX-4 - Scene (PRO) 및 NQ - SX-4 - Char (PRO) 워크플로우는 기본 NQ - Text Engine 및 NQ - Image Engine 워크플로우와 함께 제공되며, 원하는 것을 먼저 생성한 후 온라인, Fanbox 등에서 볼 수 있는 아름다운 걸작 수준의 품질로 향상시킬 수 있습니다. 매우 간단하고 초보자 친화적이며, 단 한 번의 버튼 클릭만으로 마법이 일어납니다. 위에서 언급한 바와 같이 SFW 및 NSFW 모두, 포함하여 노골적인 생성에도 작동합니다.

요구사항
워크플로우를 로드할 때 ComfyUI-Manager를 통해 모든 항목이 자동 다운로드됩니다. 그러나 관심이 있다면, 대부분 이미 Comfy UI에 설치되어 있을 법한 다음 패키지가 필요합니다:

ltdrdata/ComfyUI-Impact-Pack

ltdrdata/ComfyUI-Impact-Subpack

Smirnov75/ComfyUI-mxToolkit

chflame163/ComfyUI_LayerStyle

Fannovel16/comfyui_controlnet_aux

모델 및 디테일러
저는 다양한 Illustrious, Pony, NoobAI 및 기타 SDXL 기반 모델과 파인튜닝을 사용합니다. 원하는 모델을 선택해도 작동하며, 추가 디테일링을 위한 디테일러 LoRA와 함께 사용해도 좋습니다. 다음 디테일러를 추천합니다:

범용

Smooth Detailer Booster (NoobAI/Illustrious/Pony) - Smooth Booster v4

배경

Detailer | Tool / Concept LoRA IllustriousXL - v1.0

Detailer IL - v2 | Illustrious LoRA | Civitai