PH's Archviz x AI ComfyUI Workflow (SDXL + FLUX)
详情
下载文件
关于此版本
模型描述
推荐使用 v0.30 - 最新版本因近期 ComfyUI 更新及 mtb-nodes(node+)问题而失效
/编辑于 250326
推荐使用 v0.27 - 该模型的 v0.23 版本在安装或之前安装过 Mixlabs Nodes 后无法使用(SDXLAspectRatioSelector/art-venture 及部分预处理器失效)
/编辑于 241102
该工作流具有两个主要功能:1)增强渲染效果;2)将任何渲染软件输出的低分辨率图像(已测试 1536x1024)转换为高分辨率建筑图像(已测试 12288x8192),并在“分阶段生成”过程中尽可能保留细节:第一阶段使用 SDXL,第二阶段用 Flux 细化第一阶段输出,第三阶段再次使用 Flux 对第二阶段输出进行超分辨率放大。如果图像中包含 3D 人物,系统会自动识别并增强他们。你还可以通过绘制掩码,用 Flux 为图像添加额外的人物。
更多信息请见:
此处:
我假设对本项目感兴趣的人会:a) 已掌握或能快速学会如何使用 3D 环境(如 3ds Max、Blender、SketchUp 等)生成所需输出;b) 将此处所见内容融入自己的工作流程,或根据需要进行调整,以实现我所使用的方式。
对最终效果的控制主要通过第一阶段的 ControlNet 以及基于提示词定义的掩码细节传递实现(例如:“房屋、立面等”——即你希望在整个阶段中保留/传递细节的区域)。例如,若你在 MaskEditor 中标记了某个人物区域,系统会在处理过程中自动调整该掩码,防止细节被混合到人物上。本质上,我按顺序使用多个模型,在每一步添加细节,或跳过不需要的阶段;有时流程并不直接,例如我会在传入下一阶段前,通过预览选择器挑选第一阶段的输出结果。
根据你使用的模型,系统可将类似“每个多边形唯一着色网格”或线框/轮廓网格等渲染结果,通过一个或多个(或更多)ControlNet 生成逼真的照片级图像。任何 SDXL ControlNet 预处理器或你的 ControlNet 能识别的内容均可使用。你可以通过滑块和开关控制细节传递量和大部分基础功能(不,我不是 UI/UX 设计师)。你的提示词定义整体输出风格,我倾向于将提示词分离以便快速调整,但最终会拼接在一起。生成前你可能需要编辑 3D 输出/基础图像,例如我直接在 Photoshop 中将垂直瓷砖线条绘制到法线贴图渲染元素上。
此外,你可以通过单个按钮切换为 img2img 工作流,若基础图像已具备某种程度的写实渲染效果,该功能仍可保留。你可能希望在第一阶段使用较低的去噪值,再由 Flux 在第二、三阶段添加细节。其大部分附加功能(例如启用“人物生成”并用 MaskEditor 画笔将 Flux 生成的人物置于场景中)均视为概念验证,从示例中可见。
此工作流是:
许多付费图像增强与超分辨率服务的潜在替代方案
为我自己开发的“工具”,用于辅助我作为技术艺术家从预视图到最终成像的日常工作,整体基于我的最佳意图、最新发现以及对 AI 有限的理解。我仍使用我的 3D 环境和额外的渲染软件,并经常手动后期处理图像 :)
因此,该工作流不幸并非:
人类从未见过的 ComfyUI 顶级杰作——有些人可能已经猜到了
每次启动生成都能获得获奖图像的终极魔法技术——尚未实现,但我承诺一旦达成会第一时间通知你;那时我可能就不会免费分享了
无论如何,该工作流的输出取决于:
你的基础图像输入——尤其针对本工作流的目的:你在首选 3D 环境中创建基础图像的技能。我仅用建筑类图像测试过此系统
你描述需求(提示词)的能力
你的硬件(基本只要能运行 flux.dev,就能运行此系统,未来可能优化,已在 NVIDIA RTX 4090 上测试,使用更高效模型并降低分辨率可在低配硬件上运行)
你使用、编辑或适配此类工具以满足自身需求的创造力
你对 ComfyUI 和 ControlNet 工作原理的理解,以及对适用于你场景的具体设置的掌握
附加内容:
由于当前无法使用“Mixlabs 屏幕共享”(因显示错误),此工作流 也作为发布内容之一,可在右侧“实验性”部分找到(可能需要左右滑动查看)。将“加载图像”节点替换为 Mixlabs 屏幕共享,并在 ComfyUI 中开启自动队列,即可按视频所示使用。你可能需要跳过其余所有部分。
要使用实验性“通过掩码进行 Flux 内补”功能,请将掩码连接到“掩码区域”中的对应节点(黄色拼写错误),在基础 CFG 中启用此功能,并输入你希望看到的提示词——此功能为真正实验性质,结果未必稳定。
所用模型:
flux.dev gguf Q8_0.gguf
realVisXL_4.0.safetensors
realVisXL40_Turbo.safetensors
clip
t5-v1_1-xxl-encoder-Q8_0.gguf
clip_l.safetensors
ip-adapter
CLIP.ViT-H-14-laion2B-s32B-b79K.safetensors
ip-adapter-plus_sdxl_vit-h.safetensors
controlnet
diffusers_xl_depth_full.safetensors
diffusers_xl_canny_full.safetensors
thibaud_xl_openpose.safetensors(可选,未来版本将用 OpenPose-Editor 重新实现人物姿态功能)
sam2/florence2
sam2_hiera_base_plus.safetensors
Florence2-base
upscale
- 4x-UltraSharp.pth
推荐尝试的模型:CrystalClearXL、RealVisXL、ProtoVision XL
使用的自定义节点(是的,资源消耗较大,未来可能编辑或新增;建议逐个安装并在之间重启 ComfyUI 以避免错误):
GitHub - ltdrdata/ComfyUI-Manager
GitHub - ltdrdata/ComfyUI-Impact-Pack
GitHub - Fannovel16/comfyui_controlnet_aux
GitHub - jags111/efficiency-nodes-comfyui
GitHub - WASasquatch/was-node-suite-comfyui
GitHub - EllangoK/ComfyUI-post-processing-nodes
GitHub - BadCafeCode/masquerade-nodes-comfyui
GitHub - city96/ComfyUI-GGUF
GitHub - pythongosssss/ComfyUI-Custom-Scripts
GitHub - ssitu/ComfyUI_UltimateSDUpscale
GitHub - Suzie1/ComfyUI_Comfyroll_CustomNodes
GitHub - cubiq/ComfyUI_IPAdapter_plus
GitHub - sipherxyz/comfyui-art-venture
GitHub - evanspearman/ComfyMath: ComfyUI 的数学节点
GitHub - jamesWalker55/comfyui-various
GitHub - Kosinkadink/ComfyUI-Advanced-ControlNet
GitHub - theUpsider/ComfyUI-Logic
GitHub - rgthree/rgthree-comfy
GitHub - cubiq/ComfyUI_essentials
GitHub - chrisgoringe/cg-image-filter
GitHub - kijai/ComfyUI-KJNodes
GitHub - kijai/ComfyUI-DepthAnythingV2
GitHub - kijai/ComfyUI-Florence2
GitHub - kijai/ComfyUI-segment-anything-2
GitHub - shadowcz007/comfyui-mixlab-nodes
GitHub - palant/image-resize-comfyui
GitHub - yolain/ComfyUI-Easy-Use
以上所有节点均为杰出作品,强烈推荐。如果你希望支持我的工作,请先支持这些开发者——他们才是真正的 MVP。仅当你希望直接支持我本人时(非必需,无任何优劣影响),可通过 https://ko-fi.com/paulhansen 捐赠。
