LoraManager Studio Workflow - Multi-LoRA + FaceDetailer + Upscale

详情

模型描述

ComfyUI 工作流:高级多阶段图像生成,含面部增强与超分辨率

此工作流代表一种复杂的多阶段图像生成流水线,其模块化架构和智能节点选择展现出卓越的灵活性。该工作流旨在对生成过程的每个环节提供最大程度的控制,同时保持高效性与输出质量。

工作流架构与节点分析

模型加载基础设施

CheckpointLoader|pysssss 节点 此增强型检查点加载器在标准加载器基础上提供了额外功能,包括提示示例输出和动态模型切换能力。该节点输出三个关键组件:MODEL(U-Net)、CLIP(文本编码器)和 VAE(变分自编码器)。pysssss 版本支持元数据保留和示例提示生成,对于工作流文档和共享极为重要。

CheckpointLoaderSimple 节点 在工作流中战略性放置的备用检查点加载器,用于在特定流水线阶段切换模型。此双加载器架构允许用户利用不同模型的优势——例如,使用一个优化于整体构图的模型,另一个专精于面部特征或特定风格。

多检查点支持的优势:

  • 支持结合不同模型优势的混合工作流
  • 允许为不同流水线阶段使用专用模型(基础生成 vs. 细节优化)
  • 提供多种艺术风格的备用选项
  • 支持在同一工作流内进行 A/B 测试
  • 实现领域特定优化(写实 vs. 风格化内容)

高级提示处理系统

Power Prompt - Simple (rgthree) 节点 一个超越基础文本输入的复杂提示处理节点,功能包括:

  • 动态嵌入插入能力
  • 实时提示预览与验证
  • 支持提示权重语法
  • 自动提示优化
  • 多种输出类型(CONDITIONING 和 TEXT)
    该节点包含组合筛选与提示历史记录,使迭代优化更高效。

JoinStringMulti 节点 一个强大的字符串连接节点,可智能组合多个文本输入并自定义分隔符。主要功能:

  • 动态调整输入数量
  • 自定义分隔符以确保提示格式正确
  • 支持列表返回以用于批量处理
  • 维护连接元素间的正确空格与语法
    此节点对将基础提示与动态生成的触发词或风格修饰符结合至关重要。

ShowText|pysssss 节点 不仅是一个显示节点,还提供:

  • 带语法高亮的实时提示可视化
  • 大型显示区域(380x293px)展示复杂提示
  • 字符串透传以支持工作流延续
  • 提示构造验证的调试功能

CLIPTextEncode 节点(正向与负向) 执行关键的文本到嵌入转换:

  • 将输入文本分词为 CLIP 兼容格式
  • 权重归一化与注意力映射
  • 正向与负向条件单独处理
  • 保持流水线内嵌入一致性
    工作流使用两个实例分别处理正负提示,从而实现对生成过程更精确的控制。

LoRA 管理系统

Lora Loader (LoraManager) 节点 该节点代表 LoRA 处理的重大进步:

  • 动态多 LoRA 加载:同时管理多个 LoRA 模型,各自具备独立强度控制
  • 触发词提取:自动提取并输出已加载 LoRA 的触发词
  • CLIP 强度独立:模型与 CLIP 修改分别设置强度
  • 堆栈管理:维护 LoRA 堆栈以实现级联效果
  • 实时开关系统:无需重新加载即可激活/停用每个 LoRA
  • 元数据保留:完整保存 LoRA 配置以确保可复现性

TriggerWord Toggle (LoraManager) 节点 智能触发词管理系统,功能包括:

  • 根据启用的 LoRA 过滤激活的触发词
  • 支持组模式进行批量触发词管理
  • 提供默认激活状态
  • 根据 LoRA 状态动态更新提示构建
  • 防止触发词冲突与冗余

维度与潜在空间管理

AspectRatioImageSize 节点 高级尺寸计算器,功能包括:

  • 在不同分辨率下保持宽高比
  • 提供预设比例(4:3、16:9、1:1 等)
  • 计算模型兼容的最佳尺寸
  • 支持垂直/水平方向切换
  • 输出尺寸标签用于工作流文档
  • 确保尺寸可被 8 整除以兼容 VAE

EmptyLatentImage 节点 潜在空间初始化器,功能包括:

  • 在潜在空间中创建噪声张量
  • 支持批量生成
  • 通过潜在表示保持内存效率
  • 提供一致初始化以确保结果可复现

主生成流水线

KSampler(主生成)节点 核心采样节点,具备广泛配置:

  • 调度器集成:支持多种噪声调度(Karras、指数、简单)
  • 采样器选择:提供多种采样算法(DPM++、Euler、DDIM 等)
  • 自适应步数控制:根据收敛情况动态调整步数
  • CFG 缩放控制:无分类器引导强度调节
  • 种子管理:支持固定与随机种子
  • GPU 优化:针对 GPU 执行优化的采样器

VAEDecode 节点 潜在到图像解码器,功能包括:

  • 将潜在张量转换为像素空间
  • 通过正确反归一化保持色彩准确性
  • 高效处理批量图像
  • 在解码过程中保留精细细节
  • 支持分块解码以优化内存

面部检测与增强系统

UltralyticsDetectorProvider 节点 顶尖检测系统,功能包括:

  • 集成 YOLOv8 模型进行面部检测
  • 生成带置信度分数的边界框
  • 支持分割掩码
  • 支持多面部检测
  • 可调检测阈值
  • 实时检测性能

FaceDetailer 节点 工作流中最复杂的增强节点:

  • 检测集成:处理检测器输出的边界框
  • 引导修复:对检测区域进行精准修复
  • 分辨率缩放:将面部区域放大至 2560px 以进行细节处理
  • 自适应去噪:可变去噪强度(0.44)以保留细节
  • 羽化控制:4 像素羽化实现平滑融合
  • 掩码生成:为面部区域创建精确掩码
  • SAM 模型支持:可选集成 Segment Anything 模型
  • 裁剪因子控制:1.5x 裁剪因子保留上下文
  • 迭代优化:支持多次增强循环
  • 噪声掩码选项:高级掩码策略实现自然融合
  • 检测提示:中心点检测优化

分辨率增强流水线

ImageResizeKJv2 节点 高级缩放系统,功能包括:

  • 多种插值方法(最近邻、双线性、双三次、Lanczos)
  • 宽高比保持选项
  • 智能填充与自定义颜色
  • 裁剪位置控制(中心、顶部、底部等)
  • 强制尺寸满足模型兼容性
  • 设备选择(CPU/GPU)
  • 支持掩码感知缩放

VAEEncode 节点 图像到潜在编码器,功能包括:

  • 高效压缩至潜在空间
  • 变分编码以实现随机生成
  • 支持批量处理
  • 通过分块编码优化内存
  • 色彩空间归一化

KSampler(精炼)节点 第二次采样过程,功能包括:

  • 延长至 40 步精炼
  • 较低去噪强度(0.45)以保留细节
  • 在增强质量的同时保持构图完整性
  • 使用不同采样器/调度器组合进行精炼
  • 潜在空间操作实现精准改进

UpscaleModelLoader 节点 神经网络超分辨率加载器,支持:

  • 多种超分架构(ESRGAN、Real-ESRGAN 等)
  • 模型热切换能力
  • VRAM 优化
  • 多种缩放倍率(2x、4x、8x)

ImageUpscaleWithModel 节点 AI 驱动超分辨率执行:

  • 分块处理以提高内存效率
  • 边缘保持算法
  • 超分过程中增强细节
  • 支持批量处理
  • 保持色彩一致性

元数据与输出管理

Debug Metadata (LoraManager) 节点 三个实例提供全面追踪:

  • 完整生成参数日志
  • LoRA 配置保留
  • 种子与采样器设置
  • 分辨率与步数信息
  • JSON 格式输出便于解析
  • 工作流状态文档化
  • 兼容版本控制

SaveImage 节点 多个保存点,功能包括:

  • 自定义文件命名模式
  • 目录组织支持
  • 在图像中嵌入元数据
  • 格式选择能力
  • 增量编号系统
  • 创建子文件夹以组织输出

ReroutePrimitive|pysssss 节点 工作流组织工具,功能包括:

  • 提供清晰的连接布线
  • 保持连接类型安全
  • 支持模块化工作流分区
  • 通过可见数据流支持调试
  • 降低视觉复杂度

工作流控制与组织

Fast Groups Muter (rgthree) 节点 高级工作流控制,功能包括:

  • 分区启用/禁用功能
  • 带颜色编码的视觉分组
  • 通过选择性执行优化性能
  • 测试与调试能力
  • 批量处理控制
  • 通过选择性加载管理内存

此节点配置的技术优势

1. 流水线模块化 每个处理阶段独立运行,支持:

  • 单独阶段优化
  • 简化故障排查与修改
  • 流水线模块并行开发
  • 组件在不同工作流中复用

2. 渐进式增强架构 三阶段方法(生成 → 增强 → 超分)确保:

  • 每个阶段的质量提升
  • 通过分阶段处理实现计算效率
  • 任一阶段失败时提供备用方案
  • 分级质量控制

3. 智能资源管理 工作流通过以下方式优化资源使用:

  • 在潜在空间中处理以节省内存
  • 仅对面部区域进行高分辨率处理
  • 大图像使用分块操作
  • 提供设备特定优化选项

4. 全面状态管理 多个检查点与监控节点确保:

  • 完全可复现性
  • 兼容版本控制
  • 参数追踪以实现优化
  • 每个阶段具备调试能力

5. 灵活处理路径 节点布局支持:

  • 用于测试的跳过连接
  • 替代处理路径
  • A/B 测试配置
  • 逐步引入复杂性

此工作流是 ComfyUI 节点选择与布局的典范,展示了精心挑选节点与设计流水线架构如何构建出灵活、强大且可维护的图像生成系统。其对模块化、质量增强与全面控制的重视,使其既适用于艺术探索,也适用于需要一致高质量输出的生产流程。

此工作流所需的 ComfyUI 依赖

必需的自定义节点包:

  1. ComfyUI-Impact-Pack

    • GitHub:ltdrdata/ComfyUI-Impact-Pack

    • 提供:FaceDetailer、UltralyticsDetectorProvider

    • 面部检测与增强的关键组件

  2. ComfyUI-LoraManager

    • GitHub:Suzie1/ComfyUI-LoraManager

    • 提供:Lora Loader、Debug Metadata、TriggerWord Toggle

    • 多 LoRA 管理系统的必需组件

  3. rgthree-comfy

    • GitHub:rgthree/rgthree-comfy

    • 提供:Fast Groups Muter、Power Prompt - Simple

    • 工作流组织与高级提示功能

  4. ComfyUI-Custom-Scripts

    • GitHub:pythongosssss/ComfyUI-Custom-Scripts

    • 提供:ShowText|pysssss、ReroutePrimitive|pysssss、CheckpointLoader|pysssss

    • 用户界面增强与工作流实用工具

  5. ComfyUI-KJNodes

    • GitHub:kijai/ComfyUI-KJNodes

    • 提供:JoinStringMulti、ImageResizeKJv2

    • 字符串操作与高级图像缩放

  6. ComfyUI-Studio-Nodes(可选但推荐)

    • GitHub:comfyuistudio/ComfyUI-Studio-nodes
  • 提供:AspectRatioImageSize

  • 方便的长宽比计算

所需模型:

检测模型:

  • bbox/face_yolov8m.pt - 人脸检测模型

  • 自动下载至:ComfyUI/models/ultralytics/bbox/

放大模型:

  • 4x-AnimeSharp.pth - 放大模型

  • 下载地址:OpenModelDB 或 Upscale Wiki

  • 放置位置:ComfyUI/models/upscale_models/

检查点模型:(由用户提供)

  • 您选择的基础检查点

  • 您选择的精炼检查点(例如:ponyRealism_V23ULTRA)

LoRA 模型:(由用户提供)

  • 您工作流中引用的所有 LoRA

安装方法:

选项 1:ComfyUI Manager(推荐)

  1. 首先安装 ComfyUI-Manager

  2. 点击“安装缺失的自定义节点”按钮

  3. 它将自动检测并安装所有依赖项

选项 2:手动安装

cd ComfyUI/custom_nodes

# 安装每个依赖项
git clone https://github.com/ltdrdata/ComfyUI-Impact-Pack.git
git clone https://github.com/Suzie1/ComfyUI-LoraManager.git
git clone https://github.com/rgthree/rgthree-comfy.git
git clone https://github.com/pythongosssss/ComfyUI-Custom-Scripts.git
git clone https://github.com/kijai/ComfyUI-KJNodes.git
git clone https://github.com/comfyuistudio/ComfyUI-Studio-nodes.git

# 安装 Impact Pack 的 Python 依赖
cd ComfyUI-Impact-Pack
python install.py

额外的 Python 依赖项:

某些节点可能需要额外的 Python 包:

  • Impact Packultralyticssegment-anythingmmdet

  • KJNodes:某些操作可能需要 numba

注意事项:

  • 核心 ComfyUI 节点(KSampler、VAEDecode、CLIPTextEncode 等)已包含在基础 ComfyUI 中

  • 某些节点在首次运行时可能会自动安装其依赖项

  • 如果出现 CUDA/GPU 错误,请确保您的 PyTorch 版本与 CUDA 版本匹配

  • 如果缺少任何依赖项,工作流将显示红色/缺失节点

好消息是,使用 ComfyUI Manager 时,加载工作流后它会自动检测所有缺失的节点,并提供自动安装选项!

此模型生成的图像

未找到图像。