PH's Archviz x AI ComfyUI Workflow (SDXL + FLUX)

ph01ph01
158
5.5K
architecture건물controlnetcomfyuisdxlflux.1
v0.37v0.30v0.27v0.23

세부 정보

파일 다운로드

모델 설명

v0.37 실제 버전, ComfyUI 0.3.68 및 프론트엔드 v1.28.8에서 테스트됨 - 사용 중단된 노드 제거, 실시간 업데이트 품질 향상

/편집 251105

이 워크플로우는 두 가지 주요 기능을 가지고 있으며, 1) 렌더링 품질 향상 및 2) 어떤 렌더링 소프트웨어(1536x1024 테스트)에서 생성된 저해상도 출력물을 기반으로 고해상도 건축 이미지(12288x8192 테스트)를 생성하는 것을 목적으로 합니다. 이 과정에서 “단계별 생성” 방식을 통해 세부사항을 유지하려 합니다: 첫 번째 단계는 SDXL, 두 번째 단계는 Flux를 사용하여 첫 번째 단계 출력물을 상세화, 세 번째 단계는 다시 Flux를 사용하여 두 번째 단계 출력물을 업스케일링합니다. 이미지에 3D 인물이 포함되어 있으면 자동으로 감지하여 개선합니다. 마스크를 그려 Flux를 통해 이미지에 추가 인물을 생성할 수 있습니다.

자세한 정보는 다음 링크에서 확인하세요:

그리고 여기:

원본 레딧 스레드

역사:

v0.30 - 최근 ComfyUI 업데이트와 mtb-nodes(노드+) 문제로 인해 이전 버전들이 작동하지 않게 됨

/편집 250326

v0.27 권장 - 이 모델의 v0.23 버전은 Mixlabs Nodes가 설치되거나 이전에 설치된 경우 즉시 작동하지 않게 됨(SDXLAspectRatioSelector/art-venture 및 일부 전처리기 작동 중단)

/편집 241102

이 프로젝트에 관심이 있는 사용자들은 a) 3dsmax, Blender, SketchUp 등과 같은 3D 환경을 사용하여 필요한 출력물을 빠르게 생성할 수 있거나 이미 그 방법을 알고 있으며, b) 여기서 보는 내용을 자신의 워크플로우에 적용하거나 원하는 대로 수정할 수 있을 것이라고 가정했습니다.

원하는 결과에 대한 제어는 주로 첫 번째 단계의 ControlNets과 기본 이미지의 마스크 기반 세부사항 전송 기능을 통해 얻습니다. 여기서 마스크는 프롬프트(예: “집, 외관 등 – 활성화한 단계에서 전송/보존하고자 하는 세부사항이 위치한 곳”)로 정의됩니다. 예를 들어, MaskEditor로 인물을 배치한 영역이 있으면, 프로세스 중 마스크가 자동으로 수정되어 마스크에서 세부사항이 인물에 블렌딩되지 않도록 합니다. 기본적으로 저는 여러 모델을 연속적으로 사용하여 각 단계에서 세부사항을 추가하거나 원하지 않는 단계를 건너뛰며 워크플로우를 실행합니다. 이 과정은 단순한 경우도 있지만, 일반적으로는 예비 선택기를 통해 첫 번째 단계의 출력물을 골라 다음 단계로 전달합니다.

사용하는 모델에 따라, “per-polygon-unique-colored-mesh” 또는 아웃라인/와이어프레임 메시 등의 렌더링을 하나 또는 두 개(또는 추가로 원하는 만큼)의 ControlNet을 통해 사진처럼 사실적인 이미지로 상상해냅니다. SDXL ControlNet 프리프로세서 또는 ControlNet 자체가 이해할 수 있는 모든 입력 형태를 사용할 수 있습니다. 세부사항 전송량과 대부분의 기본 기능은 슬라이더 및 스위치로 조절할 수 있습니다(아니요, 저는 UI/UX 디자이너가 아닙니다). 프롬프트는 최종 출력의 일반적인 방향을 정의하며, 저는 생성 과정에서 빠르게 조정할 수 있도록 이를 분리하여 유지하지만, 최종적으로는 연결됩니다. 생성 전에 3D 출력/기본 이미지를 수정해야 할 수도 있습니다. 예를 들어, 저는Facade의 수직 타일 선을 Photoshop에서 노멀 패스 렌더링 요소에 직접 그렸습니다.

또한, 기본 설정을 변경하여 하나의 버튼으로 img2img 워크플로우를 사용할 수 있으며, 기본 이미지 입력에 어느 정도 사진처럼 사실적인 렌더링이 이미 존재하는 경우 그 기능을 유지합니다. 첫 번째 단계에서는 낮은 노이즈 감소 값으로 기존 이미지를 정제하고, 두 번째 및 세 번째 단계에서 Flux가 세부사항을 추가하도록 할 수 있습니다. “인물 생성” 활성화 및 MaskEditor 페인트브러시를 사용하여 Flux가 생성한 인물을 장면에 배치하는 등의 추가 기능은 예시에서 볼 수 있듯이 프로토타입 단계로 간주됩니다.

이 워크플로우는:

  • 이미지 향상 및 업스케일링과 같은 유료 서비스의 잠재적 대체 수단입니다.

  • 저의 기술 아티스트로서의 일상 업무를 돕기 위해, 사전 시각화에서 최종 이미지까지의 과정을 위해 제가 필요한 기능을 바탕으로 개발한 “도구”이며, 일반적으로는 최선의 의도, 최신 발견 및 제한된 AI 지식을 기반으로 합니다. 여전히 3D 환경과 추가 렌더링 소프트웨어를 사용하며, 예를 들어 여전히 수동으로 이미지를 후처리하는 경우가 많습니다 :)

따라서, 이 워크플로우는 불행히도 다음이 아닙니다:

  • 인간이 이전에 본 적 없는 훌륭한 ComfyUI 워크플로우 – 일부는 이미 그걸 알고 있었을 것입니다.

  • 매번 생성을 시작할 때마다 상금 수상급 이미지를 만들어주는 궁극적인 마법 기술 – 아직 아닙니다. 하지만 제가 그것을 얻으면 가장 빠르게 알려드리겠습니다. 그땐 무료로 제공하지 않을 수도 있습니다.

이 워크플로우의 출력은 다음 사항에 따라 달라집니다:

  • 기본 이미지 입력: 이 워크플로우의 목적과 정확히 관련된, 귀하가 선호하는 3D 환경에서 기본 이미지를 생성하는 기술. 이 도구는 건축 관련 이미지 외에는 테스트하지 않았습니다.

  • 원하는 결과를 프롬프트로 어떻게 표현하는지에 대한 능력

  • 하드웨어(기본적으로 flux.dev를 실행할 수 있다면 이 워크플로우도 실행 가능합니다. 최적화는 향후 추가될 수 있습니다. GF RTX 4090에서 테스트됨. 낮은 하드웨어에서 실행하려면 더 성능 좋은 모델을 사용하거나 해상도를 낮추세요)

  • 이러한 도구를 자신의 필요에 맞게 사용/편집/적용하려는 창의성

  • ComfyUI 및 ControlNet의 작동 방식에 대한 이해와, 자신의 시나리오에 적합한 정확한 설정에 대한 지식

보너스 콘텐츠:

현재 "mixlabs screen share"는 일부 디스플레이 버그로 인해 사용할 수 없기 때문에, 이 워크플로우도 릴리즈에 포함되었습니다. 오른쪽의 "실험적" 섹션에서 찾을 수 있습니다(보기 위해 약간 팬을 해야 할 수 있음). 비디오에 나온 대로 Load image 노드를 mixlabs screen share로 교체하고 ComfyUI에서 autoqueue를 활성화하여 사용하세요. 나머지 모든 것은 생략할 수 있습니다.

실험적 “Flux 마스크 기반 inpaint” 기능을 사용하려면, “마스크 영역”(노란색 오타 주의)의 해당 노드에 마스크를 연결하고, 기본 CFG에서 이 프로세스를 활성화한 후 원하는 결과를 프롬프트로 입력하세요. 이 기능은 진정한 실험 단계이며 항상 원하는 결과를 제공하지는 않습니다.

사용된 모델:

  • flux.dev gguf Q8_0.gguf

  • realVisXL_4.0.safetensors

  • realVisXL40_Turbo.safetensors

clip

  • t5-v1_1-xxl-encoder-Q8_0.gguf

  • clip_l.safetensors

ip-adapter

  • CLIP.ViT-H-14-laion2B-s32B-b79K.safetensors

  • ip-adapter-plus_sdxl_vit-h.safetensors

controlnet

  • diffusers_xl_depth_full.safetensors

  • diffusers_xl_canny_full.safetensors

  • thibaud_xl_openpose.safetensors (옵션, 향후 릴리스에서 openpose-editor로 대체 예정)

sam2/florence2

  • sam2_hiera_base_plus.safetensors

  • Florence2-base

upscale

  • 4x-UltraSharp.pth

추천 실험 모델: CrystalClearXL, RealVisXL, ProtoVision XL

사용된 사용자 정의 노드(네, 리소스 사용량이 많으며 향후 수정/추가될 수 있습니다. 에러를 방지하기 위해 하나씩 설치하고 ComfyUI를 재시작하는 것이 권장됨):

GitHub - ltdrdata/ComfyUI-Manager

GitHub - ltdrdata/ComfyUI-Impact-Pack

GitHub - Fannovel16/comfyui_controlnet_aux

GitHub - jags111/efficiency-nodes-comfyui

GitHub - WASasquatch/was-node-suite-comfyui

GitHub - EllangoK/ComfyUI-post-processing-nodes

GitHub - BadCafeCode/masquerade-nodes-comfyui

GitHub - city96/ComfyUI-GGUF

GitHub - pythongosssss/ComfyUI-Custom-Scripts

GitHub - ssitu/ComfyUI_UltimateSDUpscale

GitHub - Suzie1/ComfyUI_Comfyroll_CustomNodes

GitHub - cubiq/ComfyUI_IPAdapter_plus

GitHub - sipherxyz/comfyui-art-venture

GitHub - evanspearman/ComfyMath: ComfyUI용 수학 노드

GitHub - jamesWalker55/comfyui-various

GitHub - Kosinkadink/ComfyUI-Advanced-ControlNet

GitHub - theUpsider/ComfyUI-Logic

GitHub - rgthree/rgthree-comfy

GitHub - cubiq/ComfyUI_essentials

GitHub - chrisgoringe/cg-image-filter

GitHub - kijai/ComfyUI-KJNodes

GitHub - kijai/ComfyUI-DepthAnythingV2

GitHub - kijai/ComfyUI-Florence2

GitHub - kijai/ComfyUI-segment-anything-2

GitHub - shadowcz007/comfyui-mixlab-nodes

GitHub - palant/image-resize-comfyui

GitHub - yolain/ComfyUI-Easy-Use

위 모든 노드는 뛰어난 작업이며 강력히 권장됩니다. 만약 제가 하는 작업을 직접 지원하고 싶다면, https://ko-fi.com/paulhansen에서 기부하실 수 있습니다.

이 모델로 만든 이미지

이미지를 찾을 수 없습니다.