Cloth Migration and dressing style transfer

详情

下载文件

模型描述

此工作流可通过修改提示词适配其他 ic-lora!

联系我:

QQ 群:571587838

Bilibili:主页

Civitai:ttplanet

微信:tangtuanzhuzhu

这是一个专注于 Stable Diffusion (SD) 模型的实验性项目。在单张生成图像中,同一物体或角色能始终保持极高的一致性。我此前已在 SDXL 模型中尝试解决这一问题。

当时,我使用了具有衰减权重的 ControlNet 模型,取得了良好效果。通过参考图像,可以在保持极高一致性的同时一次性生成单一角色的多个视角。但由于日程繁忙,后续探索暂时搁置。

最近,我接触到有关 ic-lora 的讨论,发现它本质上仍是一个标准 LoRA,但借助 DIT 模型 实现了更强的一致性与图像格式控制能力。利用这种格式控制效果,有望在应用中实现一致性目标。受网友“lrzjason(别名 xiaozhi)”提出的潜空间引导工作流启发,我简化了整个预处理逻辑,从而开发出一种高效迁移方法。

通过此流程与方法,您可以通过引导模型聚焦于所需内容,实现令人惊讶的迁移与泛化效果,并获得极强的一致性。目前,我已为服装开发了配套迁移模型,具备以下功能:

  1. 惊人的参考图像服装迁移一致性

    ComfyUI_temp_veptx_00011_

    ComfyUI_temp_bgltt_00001_

  2. 卡通服装转写为写实风格,或写实服装转写为卡通风格

    7e95939782f43a7272f2ff796f231871

  3. 通过权重控制服装相似度,激发设计创意

待开发功能

  1. 具有鲜明特征物品的迁移

  2. 复杂精细图案的迁移

  3. 面部迁移

  4. 来自社区的更多创意

使用方法

您可从我的 Hugging Face 项目 中的 Migration LoRA 文件夹下载模型。目前仅提供 Cloth LoRA,待其他模型准备就绪后我会陆续添加。

或直接从此处下载:

/model/950736/cloth-migration-and-dressing-style-transfer

环境要求

  • 使用 ComfyUI 运行模型并启用自动处理流程。

  • 自定义节点

    1. TTP ToolsetComfyUI_TTP_Toolset (请更新至最新版本)

    2. Tag Node:我推荐使用我的版本,其提供 custom_modification 功能以增强方向控制:ComfyUI_JC2

    3. ** 我还使用了阿里妈妈的 flux 填充模型,可从此处获取:Alimama_flux_inpainint

操作步骤

**工作流文件在此处:workflow

  1. 安装 ComfyUI 及上述所需自定义节点。

  2. 从 Hugging Face 的 Migration LoRA 文件夹下载 Cloth LoRA

  3. 将模型加载至 ComfyUI。

  4. 使用提供的工作流示例获得预期效果。

  5. 注意:请谨慎选择 flux 版本,因需同时加载阿里妈妈填充模型,内存需求较高。若感觉运行缓慢,请尝试使用 nf8 版本,或使用内存优化节点如 FluxExt-MZ

欢迎根据您的需求自由实验与修改工作流!

此模型生成的图像

未找到图像。