Layer Diffuse with any model ComfyUI Workflow

详情

模型描述

此工作流使您能够为任何当前没有训练好的Layer Diffusion模型的检查点架构生成透明图像。它并不能神奇地让现有模型适配其他架构,而是通过一些巧妙的技巧绕过这些限制。与我的其他工作不同,此工作流尽可能简洁,以便您可以将其中的思想融入自己的流程中。请阅读以下具体说明。

依赖项
https://github.com/huchenlei/ComfyUI-layerdiffuse
https://github.com/Fannovel16/comfyui_controlnet_aux

实现方法
首先,我们使用一个支持的模型生成图像。截至目前,支持的模型包括SD1.5和SDXL。Pony模型也可行,但Illustrious/NoobAI不行。
以下是使用Pony检查点并应用SDXL Layer Diffusion模型生成的图像,但在解码Layer Diffusion之前(尚未产生透明效果):

解码后,我们得到一张透明图像。CivitAI并不真正支持透明背景,但此处的黑色实际代表透明区域:

这仍然是Pony图像,因此您无需复杂的工作流即可实现。但我们希望在没有训练好的Layer Diffusion模型的检查点上生成图像。
因此,我们不保存这张图像,而是从Layer Diffuse Decode节点中提取遮罩:

接着,我们取最初生成的那张图像,并使用ControlNet预处理器,基于Pony图像(在LD解码前)生成深度图和HED(软边缘)图像(也可用线稿代替软边缘):

应用两个ControlNet后,我们使用目标检查点(此处为Illustrious检查点)生成图像,该检查点本身没有训练好的Layer Diffusion模型:

我们需要将ControlNet的强度设置得足够高,以确保角色保持在之前遮罩的边界内。
最后一步是使用该遮罩裁剪出角色:

搞定!我们得到了一张带有Illustrious风格但无Illustrious Layer Diffusion模型的透明背景图像。

使用的检查点:
T-Ponynai3
Aungir

LORA
如果您希望在此流程中使用角色LORA,可能需要为两种架构都准备一个LORA。姿态模型同样可能需要如此,但应优先关注流程中较早使用的那个。

放大处理
如需放大图像,请在裁剪前执行。根据我的测试,您无需放大遮罩,它会自动缩放(事实上,当我尝试手动放大遮罩时,结果反而更差)。我测试了平铺放大,效果非常好。

此模型生成的图像

未找到图像。