Try-On clothing, FluxK (Florence2 + Phi LLM assisted)

详情

模型描述

Flux-Kontext 试穿工作流!

版本 2.0
* 模块化工作流
* 支持 flux-nunchaku
* 手动将 Flux 和 Phi 模型从 VRAM 卸载到 CPU

这是我的衣物转移工作流。你只需要两张图片:

  • 你想要为其穿衣的人物图像

  • 包含你想要转移的衣物图像

无需任何提示,开箱即用。老实说,我花了大量尝试和错误才搞定它。它有点复杂,但基本能完成任务,而且大多数时候都能正常工作。

从图像中提取文字

我使用 Florence2 提取图像描述,并用 Phi 整理混乱的信息。FluxK 需要非常特定的提示,而我们以一种懒人方式实现,几乎完全自动化 :)

人物轮廓提取

使用 ClipSeg 和描边遮罩轮廓,这有助于 Flux Kontext……或者也许没有?但我仍会围绕人物画一个圈,以便 FluxK 明确知道我希望谁出现在最终图像中。

两步法

它遵循两个步骤:

  1. 先穿上泳装:我尚未找到更好的方法来移除袖子和紧身裤,否则它们会出现在最终成品中。

  2. 将任何图像中的衣物转移到你的主体上。

一致性

这既令人印象深刻,有时又令人失望。有时效果完美,有时却失败,有时某些图像无论如何都无法工作,原因包括:

  • 图像间尺度和角度的差异

  • 你未提供高分辨率和足够尺寸的图像(我已在相关部分提供了一些信息)

  • FluxK 无法理解衣物

  • Clip-L 无法识别某些物品的名称

  • 最可能的原因:这是为了你好(请查看下方章节)

安全合规(SFW)

Flux Kontext 会尽全力保持内容安全合规,令人欣喜的是,即使输入图像本身不安全,它也很少生成冒犯性结果(可查看相关示例)。某些类型的衣物将无法使用。私密部位(裆部、乳头及杯底外缘)必须被覆盖,不过输入图像仍会照常处理。系统倾向于将布料扩展到这些区域,以便你仍能完成图像处理。

欢迎反馈!

(进行中 v3.0 - 更新 2025-09-25)
[x] 改进卸载/召回节点,以检测/忽略不支持的模型
[x] 改进提示词,以提升保真度和整体转移效果:越简单越好,Flux 容易被过多信息迷惑
[x] 移除红色轮廓步骤:替换为红色方框
[x] 用另一个模型替代 Phi:Gemma3:4b
[x] 增加对目标的优化步骤,防止替换人物的面部和身体
[~] 开发缓存节点,实现更一致的工作流,对多种工作流程非常有用
[~] 移除实验性杂项(模块化)
[~] 清理新工作区

已放弃:
[.] 使用 Florence2 的时尚微调版本:目前唯一可用的版本更差!

此模型生成的图像

未找到图像。