PH's Archviz x AI ComfyUI Workflow (SDXL + FLUX)
详情
下载文件
关于此版本
模型描述
v0.37 实际版本,已在 ComfyUI 0.3.68 和前端 v1.28.8 上测试 - 移除已弃用的节点,提升实时更新质量
/编辑于 251105
该工作流具有两大主要功能:1)增强渲染效果;2)从任何渲染软件的低分辨率输出(测试为 1536x1024)生成高分辨率建筑图像(测试达 12288x8192),并通过“分阶段生成”过程保持细节:第一阶段使用 SDXL,第二阶段用 Flux 细化第一阶段输出,第三阶段再次使用 Flux 对第二阶段输出进行上采样。若图像中包含 3D 人物,系统将自动检测并增强他们。您还可以通过绘制遮罩,用 Flux 为图像添加额外的人物。
更多信息请参见:
以及:
历史版本:
v0.30 - 最近的 ComfyUI 更新导致此前版本失效,并出现 mtb-nodes(node+)相关问题
/编辑于 250326
v0.27 推荐使用 - 此模型的 v0.23 版本在安装或曾安装过 Mixlabs Nodes 后立即停止工作(SDXLAspectRatioSelector/art-venture 及部分预处理器失效)
/编辑于 241102
我假定对本项目感兴趣的人士:a) 能够快速找到方法,或已熟悉如何使用 3D 环境(如 3ds Max、Blender、SketchUp 等)生成所需输出;b) 能将此处所见内容融入自身工作流,或根据需求修改一切,以适应我使用此类工具的方式。
对最终效果的控制主要通过第一阶段的 ControlNet 与遮罩细节传递实现,您可通过提示词定义遮罩(例如:“房屋、立面等”——即您希望在整个激活阶段保留/传递细节的区域)。例如,若您在 MaskEditor 中放置了人物区域,系统会在处理过程中自动调整遮罩,防止细节被融合到人物身上。本质上,我通过串联多个模型,逐步添加细节,或跳过不需要的阶段。该流程并非总是一帆风顺;例如,我常使用预览选择器从第一阶段挑选输出,再传入下一阶段。
根据您使用的模型,系统可将类似“每个多边形唯一着色网格”或线框/轮廓网格等渲染结果,通过一个或多个(或您自行添加的)ControlNet 转化为逼真的照片级图像。任何 SDXL ControlNet 预处理器或您的 ControlNet 能识别的输入均可使用。您可以利用滑块和开关控制细节传递量及大部分基础功能(不,我不是 UI/UX 设计师)。您的提示词定义总体输出方向,我倾向于将其独立设置以便快速调整,最终再合并。您可能需要在生成前编辑 3D 输出/基础图像,例如,我曾直接在 Photoshop 中将垂直瓷砖线条绘制到法线贴图渲染元素上。
此外,您可通过一键切换启用 img2img 工作流,若基础图像输入已具备某种程度的写实渲染效果,此功能仍可保持。您可降低第一阶段的降噪值,再让 Flux 在第二、三阶段添加细节。其大部分附加功能(如启用“人物生成”并用 MaskEditor 画笔在场景中放置 Flux 生成的人物)均为概念验证性质,可从示例中看出。
该工作流是:
许多付费图像增强与上采样服务的潜在替代方案
为满足我自己作为技术艺术家日常需求(从预可视化到最终图像)而开发的“工具”,整体基于我的最佳意图、最新发现和对 AI 的有限理解。我仍使用我的 3D 环境和额外渲染软件,并经常手动后期处理图像 :)
因此,该工作流不幸并非:
人类从未见过的 ComfyUI 终极杰作——可能有人已猜到这一点
每次启动生成都能产出获奖图像的终极魔法技术——尚未实现,但我承诺一旦达成,会第一时间告知您。届时我可能不会再免费分享
该工作流的输出始终取决于:
您的基础图像输入,尤其在本工作流目标背景下:您在最爱的 3D 环境中创建基础图像的技能。我仅在建筑相关图像上测试过该工具
您描述需求的能力(即提示词编写能力)
您的硬件(基本只要能运行 flux.dev,就能运行此工作流,未来可能优化;已在 NVIDIA RTX 4090 上测试,若硬件较低,可选用更高效的模型并降低分辨率)
您的创造力,能否以符合自身需求的方式使用、编辑、改造此类工具
您对 ComfyUI 与 ControlNet 工作原理的理解,以及对特定场景下有效设置的掌握
附加内容:
由于当前无法使用 “mixlabs screen share”(因显示错误),此工作流 也随本版本发布,您可在右侧“实验性”区域找到(可能需左右滑动查看)。请用 Mixlabs Screen Share 替换 Load Image 节点,并在 ComfyUI 中开启自动队列,即可如视频所示使用。您可能希望跳过其余所有内容。
要使用实验性功能“通过遮罩进行 Flux 内补绘制”,请将遮罩连接到“遮罩区域”的对应节点(黄色拼写错误),在基础 CFG 中启用此流程,并输入您希望看到的内容的提示词——此功能为真正实验性质,结果未必稳定。
所用模型:
flux.dev gguf Q8_0.gguf
realVisXL_4.0.safetensors
realVisXL40_Turbo.safetensors
clip
t5-v1_1-xxl-encoder-Q8_0.gguf
clip_l.safetensors
ip-adapter
CLIP.ViT-H-14-laion2B-s32B-b79K.safetensors
ip-adapter-plus_sdxl_vit-h.safetensors
controlnet
diffusers_xl_depth_full.safetensors
diffusers_xl_canny_full.safetensors
thibaud_xl_openpose.safetensors(可选,未来版本将用 openpose-editor 重新实现人物姿态功能)
sam2/florence2
sam2_hiera_base_plus.safetensors
Florence2-base
upscale
- 4x-UltraSharp.pth
推荐尝试的模型:CrystalClearXL、RealVisXL、ProtoVision XL
使用的自定义节点(是的,资源消耗大,未来可能编辑/添加;建议逐个安装,并在安装之间重启 ComfyUI 以避免错误):
GitHub - ltdrdata/ComfyUI-Manager
GitHub - ltdrdata/ComfyUI-Impact-Pack
GitHub - Fannovel16/comfyui_controlnet_aux
GitHub - jags111/efficiency-nodes-comfyui
GitHub - WASasquatch/was-node-suite-comfyui
GitHub - EllangoK/ComfyUI-post-processing-nodes
GitHub - BadCafeCode/masquerade-nodes-comfyui
GitHub - city96/ComfyUI-GGUF
GitHub - pythongosssss/ComfyUI-Custom-Scripts
GitHub - ssitu/ComfyUI_UltimateSDUpscale
GitHub - Suzie1/ComfyUI_Comfyroll_CustomNodes
GitHub - cubiq/ComfyUI_IPAdapter_plus
GitHub - sipherxyz/comfyui-art-venture
GitHub - evanspearman/ComfyMath: ComfyUI 的数学节点
GitHub - jamesWalker55/comfyui-various
GitHub - Kosinkadink/ComfyUI-Advanced-ControlNet
GitHub - theUpsider/ComfyUI-Logic
GitHub - rgthree/rgthree-comfy
GitHub - cubiq/ComfyUI_essentials
GitHub - chrisgoringe/cg-image-filter
GitHub - kijai/ComfyUI-KJNodes
GitHub - kijai/ComfyUI-DepthAnythingV2
GitHub - kijai/ComfyUI-Florence2
GitHub - kijai/ComfyUI-segment-anything-2
GitHub - shadowcz007/comfyui-mixlab-nodes
GitHub - palant/image-resize-comfyui
GitHub - yolain/ComfyUI-Easy-Use
以上所有节点均为杰出作品,强烈推荐。如果您想直接支持我的工作,可通过 https://ko-fi.com/paulhansen 捐赠。
