PH's Archviz x AI ComfyUI Workflow (SDXL + FLUX)

v0.30 권장 - 최근 ComfyUI 업데이트와 mtb-nodes(노드+) 문제로 인해 이전 버전이 작동하지 않게 되었습니다.

/편집 250326

v0.27 권장 - 이 모델의 v0.23 버전은 Mixlabs Nodes가 설치되거나 이전에 설치된 경우 문제 발생 (SDXLAspectRatioSelector/art-venture 및 일부 전처리기가 작동하지 않음)

/편집 241102

이 워크플로우는 두 가지 주요 기능을 갖추고 있으며, 1) 렌더링 품질 향상과 2) 어떤 렌더링 소프트웨어의 저해상도 출력(테스트: 1536x1024)을 사용해 고해상도 건축 이미지(테스트: 12288x8192)를 생성하는 데 초점을 맞췄습니다. 이 과정은 “단계적 생성” 방식으로 이루어지며, 첫 번째 단계는 SDXL을, 두 번째 단계는 플럭스를 사용해 첫 번째 단계의 결과를 상세화하고, 세 번째 단계는 다시 플럭스를 사용해 두 번째 단계의 결과를 확대합니다. 이미지에 3D 인물이 포함되어 있으면 자동으로 감지하여 향상합니다. 마스크를 그려 플럭스를 사용해 추가 인물을 생성할 수 있습니다.

자세한 정보는 다음 링크를 참조하세요:

그리고 여기:

원본 리ddit 스레드

이 프로젝트에 관심이 있는 분들이 a) 3dsmax, Blender, SketchUp 등과 같은 3D 환경을 사용해 필요한 출력물을 만드는 빠른 방법을 이미 알고 있거나, b) 여기서 보는 내용을 자신의 워크플로우에 적용하거나 원하는 대로 수정할 것이라고 가정했습니다.

원하는 결과를 얻기 위한 제어는 주로 첫 번째 단계의 ControlNets과 기본 이미지의 마스크된 디테일 전달 기능을 통해 이루어집니다. 이때 마스크는 프롬프트를 사용해 정의합니다(예: “집, 외관 등 — 당신이 단계에서 전달/보존하려는 디테일이 있는 위치”). 예를 들어, MaskEditor로 인물을 배치한 영역이 있다면, 프로세스 중 마스크가 자동으로 조정되어 해당 인물에 기본 마스크에서 디테일이 블렌딩되지 않도록 합니다. 기본적으로 저는 여러 모델을 연속으로 사용하여 각 단계마다 디테일을 추가하거나 원하지 않는 단계를 건너뛰며 워크플로우를 실행합니다. 이 과정은 단순하지 않은 경우가 많으며, 예를 들어 첫 번째 단계의 출력물을 미리보기 선택기로 선별한 후 다음 단계로 전달합니다.

사용하는 모델에 따라, “per-polygon-unique-colored-mesh” 혹은 아웃라인/와이어프레임 메시 등과 같은 렌더링 결과를 하나 또는 두 개(또는 추가로 원하는 만큼)의 ControlNet을 통해 사진처럼 사실적인 이미지로 상상합니다. SDXL ControlNet 프리프로세서 또는 ControlNet 자체가 이해할 수 있는 모든 입력을 사용할 수 있습니다. 상세 전달량과 기본 기능은 슬라이더와 스위치로 조절 가능합니다(아니요, 저는 UI/UX 디자이너가 아닙니다). 프롬프트는 일반적인 출력을 정의하며, 저는 생성 과정 중 빠르게 조정하기 위해 이를 분리해두는 것을 선호하지만, 최종적으로는 단순히 연결됩니다. 생성 전에 3D 출력/기본 이미지를 수정해야 할 수도 있습니다. 예를 들어, 저는 포토샵에서 정상맵 렌더링 요소에 직접 수직 타일링 선을 그렸습니다.

또한, 기본 이미지 입력에 어느 정도 사진처럼 사실적인 렌더링이 이미 존재한다면, 단일 버튼으로 img2img 워크플로우로 기본 설정을 변경할 수 있으며, 이 기능을 유지합니다. 첫 번째 단계에서 낮은 노이즈 감소 값을 사용해 이를 정제한 후, 플럭스로 두 번째 및 세 번째 단계에서 디테일을 추가하는 것이 바람직할 수 있습니다. “사람 생성” 활성화 및 MaskEditor 페인트브러시를 사용해 플럭스로 생성된 인물을 장면에 배치하는 등의 부가 기능은 예시에서 볼 수 있듯이 개념 증명 단계입니다.

이 워크플로우는:

• 이미지 향상 및 확대와 같은 많은 유료 서비스를 대체할 수 있는 잠재적인 대안입니다.

• 제가 기술 아티스트로 매일 수행하는 작업을 지원하기 위해 스스로 개발한 “도구”이며, 사전 시각화에서 최종 이미지까지의 과정에 맞춰 제 필요에 기반하고 있습니다. 일반적으로 저는 최선의 의도, 최신 발견, 그리고 AI에 대한 제한된 지식을 바탕으로 이 작업을 수행했습니다. 여전히 3D 환경 및 추가 렌더링 소프트웨어를 사용하며, 예를 들어 여전히 자주 이미지를 수동으로 후처리합니다 :)

따라서, 이 워크플로우는 불행히도 다음에 해당하지 않습니다:

• 인류가 전에 본 적 없는 위대한 ComfyUI 워크플로우 — 일부는 이미 예상했을 것입니다.

• 매번 생성을 시작할 때마다 수상급 이미지를 얻게 해주는 최종 마법 기술 — 아직 아닙니다. 하지만 제가 그런 기술을 확보하게 되면 즉시 알려드리겠습니다. 그때는 무료로 제공하지 않을 수도 있습니다.

이 워크플로우의 출력은 다음에 따라 달라집니다:

• 기본 이미지 입력 — 특히 이 워크플로우의 목적과 관련하여: 귀하가 선호하는 3D 환경에서 기본 이미지를 생성하는 기술력. 저는 이 도구를 건축 관련 이미지 외의 다른 콘텐츠로는 테스트하지 않았습니다.

• 원하는 결과를 프롬프트로 설명하는 능력

• 하드웨어(기본적으로 flux.dev를 실행할 수 있다면 이 워크플로우도 실행할 수 있습니다. 최적화는 향후 추가될 수 있으며, GF RTX 4090에서 테스트했으며, 더 나은 성능의 모델을 사용하고 해상도를 낮춰 하드웨어 성능이 낮은 환경에서도 실행할 수 있습니다)

• 이와 같은 도구를 자신의 필요에 맞게 사용/편집/적용하는 창의성

• ComfyUI와 ControlNet이 어떻게 작동하는지에 대한 이해 및 특정 시나리오에 적합한 설정에 대한 지식

보너스 콘텐츠:

현재 “Mixlabs 스크린 공유” 기능이 디스플레이 버그로 인해 사용할 수 없어, 이 워크플로우도 릴리즈에 포함되었습니다. 오른쪽 “실험적” 섹션에서 찾을 수 있습니다(조금 좌우로 스크롤해야 볼 수 있을 수 있습니다). Load image 노드를 Mixlabs 스크린 공유로 교체하고 ComfyUI에서 자동 큐를 활성화하면 비디오에서 보여준 방식처럼 사용할 수 있습니다. 이 경우 나머지 모든 기능은 생략할 수 있습니다.

실험적인 “마스크를 통한 Flux 인페인팅” 기능을 사용하려면, “마스크 영역”(노란색 오타 주의)의 해당 노드에 마스크를 연결하고, 기본 CFG에서 이 프로세스를 활성화한 후 원하는 결과를 프롬프트로 입력하세요. 이 기능은 진정한 실험 단계이며 항상 원하는 결과를 제공하지는 않습니다.

사용된 모델:

• flux.dev gguf Q8_0.gguf

• realVisXL_4.0.safetensors

• realVisXL40_Turbo.safetensors

clip

• t5-v1_1-xxl-encoder-Q8_0.gguf

• clip_l.safetensors

ip-adapter

• CLIP.ViT-H-14-laion2B-s32B-b79K.safetensors

• ip-adapter-plus_sdxl_vit-h.safetensors

controlnet

• diffusers_xl_depth_full.safetensors

• diffusers_xl_canny_full.safetensors

• thibaud_xl_openpose.safetensors (옵션 — 향후 릴리즈에서 openpose-editor로 재구현 예정)

sam2/florence2

• sam2_hiera_base_plus.safetensors

• Florence2-base

upscale

• 4x-UltraSharp.pth

추천할 모델: CrystalClearXL, RealVisXL, ProtoVision XL

사용된 커스텀 노드(네, 자원을 많이 소모합니다. 향후 수정/추가될 수 있으므로, 오류를 방지하기 위해 하나씩 설치하고 설치마다 ComfyUI를 재시작하는 것이 권장됩니다):

GitHub - ltdrdata/ComfyUI-Manager

GitHub - ltdrdata/ComfyUI-Impact-Pack

GitHub - Fannovel16/comfyui_controlnet_aux

GitHub - jags111/efficiency-nodes-comfyui

GitHub - WASasquatch/was-node-suite-comfyui

GitHub - EllangoK/ComfyUI-post-processing-nodes

GitHub - BadCafeCode/masquerade-nodes-comfyui

GitHub - city96/ComfyUI-GGUF

GitHub - pythongosssss/ComfyUI-Custom-Scripts

GitHub - ssitu/ComfyUI_UltimateSDUpscale

GitHub - Suzie1/ComfyUI_Comfyroll_CustomNodes

GitHub - cubiq/ComfyUI_IPAdapter_plus

GitHub - sipherxyz/comfyui-art-venture

GitHub - evanspearman/ComfyMath: ComfyUI용 수학 노드

GitHub - jamesWalker55/comfyui-various

GitHub - Kosinkadink/ComfyUI-Advanced-ControlNet

GitHub - theUpsider/ComfyUI-Logic

GitHub - rgthree/rgthree-comfy

GitHub - cubiq/ComfyUI_essentials

GitHub - chrisgoringe/cg-image-filter

GitHub - kijai/ComfyUI-KJNodes

GitHub - kijai/ComfyUI-DepthAnythingV2

GitHub - kijai/ComfyUI-Florence2

GitHub - kijai/ComfyUI-segment-anything-2

GitHub - shadowcz007/comfyui-mixlab-nodes

GitHub - palant/image-resize-comfyui

GitHub - yolain/ComfyUI-Easy-Use

위 모든 노드는 탁월한 작업이며 강력히 추천합니다. 제 작업을 지원하고자 한다면, 우선 개발자들을 지원해 주세요 — 그들이 진정한 MVP입니다. 단, 제가 작업을 직접 지원하고 싶으시다면(필요 없으며, 아무런 장점/단점도 없습니다) https://ko-fi.com/paulhansen에서 기부하실 수 있습니다.