PH's Archviz x AI ComfyUI Workflow (SDXL + FLUX)

详情

模型描述

v0.37 实际版本,已在 ComfyUI 0.3.68 和前端 v1.28.8 上测试 - 移除已弃用的节点,提升实时更新质量

/编辑于 251105

该工作流具有两大主要功能:1)增强渲染效果;2)从任何渲染软件的低分辨率输出(测试为 1536x1024)生成高分辨率建筑图像(测试达 12288x8192),并通过“分阶段生成”过程保持细节:第一阶段使用 SDXL,第二阶段用 Flux 细化第一阶段输出,第三阶段再次使用 Flux 对第二阶段输出进行上采样。若图像中包含 3D 人物,系统将自动检测并增强他们。您还可以通过绘制遮罩,用 Flux 为图像添加额外的人物。

更多信息请参见:

以及:

原始 Reddit 帖子


历史版本:

v0.30 - 最近的 ComfyUI 更新导致此前版本失效,并出现 mtb-nodes(node+)相关问题

/编辑于 250326

v0.27 推荐使用 - 此模型的 v0.23 版本在安装或曾安装过 Mixlabs Nodes 后立即停止工作(SDXLAspectRatioSelector/art-venture 及部分预处理器失效)

/编辑于 241102


我假定对本项目感兴趣的人士:a) 能够快速找到方法,或已熟悉如何使用 3D 环境(如 3ds Max、Blender、SketchUp 等)生成所需输出;b) 能将此处所见内容融入自身工作流,或根据需求修改一切,以适应我使用此类工具的方式。

对最终效果的控制主要通过第一阶段的 ControlNet 与遮罩细节传递实现,您可通过提示词定义遮罩(例如:“房屋、立面等”——即您希望在整个激活阶段保留/传递细节的区域)。例如,若您在 MaskEditor 中放置了人物区域,系统会在处理过程中自动调整遮罩,防止细节被融合到人物身上。本质上,我通过串联多个模型,逐步添加细节,或跳过不需要的阶段。该流程并非总是一帆风顺;例如,我常使用预览选择器从第一阶段挑选输出,再传入下一阶段。

根据您使用的模型,系统可将类似“每个多边形唯一着色网格”或线框/轮廓网格等渲染结果,通过一个或多个(或您自行添加的)ControlNet 转化为逼真的照片级图像。任何 SDXL ControlNet 预处理器或您的 ControlNet 能识别的输入均可使用。您可以利用滑块和开关控制细节传递量及大部分基础功能(不,我不是 UI/UX 设计师)。您的提示词定义总体输出方向,我倾向于将其独立设置以便快速调整,最终再合并。您可能需要在生成前编辑 3D 输出/基础图像,例如,我曾直接在 Photoshop 中将垂直瓷砖线条绘制到法线贴图渲染元素上。

此外,您可通过一键切换启用 img2img 工作流,若基础图像输入已具备某种程度的写实渲染效果,此功能仍可保持。您可降低第一阶段的降噪值,再让 Flux 在第二、三阶段添加细节。其大部分附加功能(如启用“人物生成”并用 MaskEditor 画笔在场景中放置 Flux 生成的人物)均为概念验证性质,可从示例中看出。

该工作流是

  • 许多付费图像增强与上采样服务的潜在替代方案

  • 为满足我自己作为技术艺术家日常需求(从预可视化到最终图像)而开发的“工具”,整体基于我的最佳意图、最新发现和对 AI 的有限理解。我仍使用我的 3D 环境和额外渲染软件,并经常手动后期处理图像 :)

因此,该工作流不幸并非

  • 人类从未见过的 ComfyUI 终极杰作——可能有人已猜到这一点

  • 每次启动生成都能产出获奖图像的终极魔法技术——尚未实现,但我承诺一旦达成,会第一时间告知您。届时我可能不会再免费分享

该工作流的输出始终取决于

  • 您的基础图像输入,尤其在本工作流目标背景下:您在最爱的 3D 环境中创建基础图像的技能。我仅在建筑相关图像上测试过该工具

  • 您描述需求的能力(即提示词编写能力)

  • 您的硬件(基本只要能运行 flux.dev,就能运行此工作流,未来可能优化;已在 NVIDIA RTX 4090 上测试,若硬件较低,可选用更高效的模型并降低分辨率)

  • 您的创造力,能否以符合自身需求的方式使用、编辑、改造此类工具

  • 您对 ComfyUI 与 ControlNet 工作原理的理解,以及对特定场景下有效设置的掌握


附加内容:

由于当前无法使用 “mixlabs screen share”(因显示错误),此工作流 也随本版本发布,您可在右侧“实验性”区域找到(可能需左右滑动查看)。请用 Mixlabs Screen Share 替换 Load Image 节点,并在 ComfyUI 中开启自动队列,即可如视频所示使用。您可能希望跳过其余所有内容。

要使用实验性功能“通过遮罩进行 Flux 内补绘制”,请将遮罩连接到“遮罩区域”的对应节点(黄色拼写错误),在基础 CFG 中启用此流程,并输入您希望看到的内容的提示词——此功能为真正实验性质,结果未必稳定。

所用模型:

  • flux.dev gguf Q8_0.gguf

  • realVisXL_4.0.safetensors

  • realVisXL40_Turbo.safetensors

clip

  • t5-v1_1-xxl-encoder-Q8_0.gguf

  • clip_l.safetensors

ip-adapter

  • CLIP.ViT-H-14-laion2B-s32B-b79K.safetensors

  • ip-adapter-plus_sdxl_vit-h.safetensors

controlnet

  • diffusers_xl_depth_full.safetensors

  • diffusers_xl_canny_full.safetensors

  • thibaud_xl_openpose.safetensors(可选,未来版本将用 openpose-editor 重新实现人物姿态功能)

sam2/florence2

  • sam2_hiera_base_plus.safetensors

  • Florence2-base

upscale

  • 4x-UltraSharp.pth

推荐尝试的模型:CrystalClearXL、RealVisXL、ProtoVision XL

使用的自定义节点(是的,资源消耗大,未来可能编辑/添加;建议逐个安装,并在安装之间重启 ComfyUI 以避免错误):

GitHub - ltdrdata/ComfyUI-Manager

GitHub - ltdrdata/ComfyUI-Impact-Pack

GitHub - Fannovel16/comfyui_controlnet_aux

GitHub - jags111/efficiency-nodes-comfyui

GitHub - WASasquatch/was-node-suite-comfyui

GitHub - EllangoK/ComfyUI-post-processing-nodes

GitHub - BadCafeCode/masquerade-nodes-comfyui

GitHub - city96/ComfyUI-GGUF

GitHub - pythongosssss/ComfyUI-Custom-Scripts

GitHub - ssitu/ComfyUI_UltimateSDUpscale

GitHub - Suzie1/ComfyUI_Comfyroll_CustomNodes

GitHub - cubiq/ComfyUI_IPAdapter_plus

GitHub - sipherxyz/comfyui-art-venture

GitHub - evanspearman/ComfyMath: ComfyUI 的数学节点

GitHub - jamesWalker55/comfyui-various

GitHub - Kosinkadink/ComfyUI-Advanced-ControlNet

GitHub - theUpsider/ComfyUI-Logic

GitHub - rgthree/rgthree-comfy

GitHub - cubiq/ComfyUI_essentials

GitHub - chrisgoringe/cg-image-filter

GitHub - kijai/ComfyUI-KJNodes

GitHub - kijai/ComfyUI-DepthAnythingV2

GitHub - kijai/ComfyUI-Florence2

GitHub - kijai/ComfyUI-segment-anything-2

GitHub - shadowcz007/comfyui-mixlab-nodes

GitHub - palant/image-resize-comfyui

GitHub - yolain/ComfyUI-Easy-Use

以上所有节点均为杰出作品,强烈推荐。如果您想直接支持我的工作,可通过 https://ko-fi.com/paulhansen 捐赠。

此模型生成的图像

未找到图像。