Wan2.1 14B i2v (Native|GGUF) Self-Forcing(lightx2v) Single/Dual Sampling

详情

模型描述

感谢 definitelynotadog 提供的 Dual KSampler 工作流

感谢 Ada321 在 CivitAI 上上传的 Self-Forcing(Lightx2v) LoRA


*25/7 更新 🟨 Dual Sampler 工作流至 V3(更新此版本供有兴趣尝试者使用,它更慢且稍复杂——基础结构无变化)

*24/7 新增 🟩 Single Sampler 工作流 V3

  • 为所有工作流添加了 视频预览

  • ExpandedCompacted 工作流添加了 后处理模块

  • 将部分 输入项移至 ExpandedCompacted 工作流的 后处理模块

  • ExpandedCompacted 工作流中的 Seed 节点 默认设置为 “New Fixed Random”

  • VRAM 清理 替换为 Easy-Use Custom Node Clean VRAM

  • 添加了 图标,调整了部分 视觉效果,并编辑/新增了若干 注释

  • Interpolation+Upscaler 工作流进行了轻微视觉调整

后处理模块(Expanded & Compacted):

当在 Seed 节点使用 "New Fixed Random" 时,生成视频后,您可以更改/编辑输入参数或选择其他选项,然后重新生成,同时跳过采样过程/步骤。

示例: 假设您点击 ComfyUI 的 RUN 按钮生成了一个视频,但忘记设置插值倍数或选择插值+超分选项。视频生成完成后,您可以调整插值倍数和/或选择插值+超分选项,再次点击 ComfyUI 的 RUN 按钮,由于使用了相同的种子编号,且未更改 后处理模块之外的任何输入,系统将跳过采样步骤。

要生成新的种子视频,请在 Seed 节点点击 "New Fixed Random",然后点击 ComfyUI 的 RUN 按钮。

此方法也能加速视频草稿制作,避免浪费时间在您可能并不想要的视频上进行插值或超分。

工作流内附简要文字说明。

17/7 - 新增 🟩 Single Sampler 工作流 V2.1,用于配合新的 Self-Forcing(Lightx2v) LoRA。

Single Sampler 下载包含以下工作流:

  • Expanded(显示所有连接——主要用于学习与探索)

  • Compacted(仅显示必要部分,隐藏其他内容)

  • Simplified(“标准化”工作流,适合希望对输入有更多控制的用户)

  • Interpolation + 2x Upscaler(适合先生成大量视频,再择优进行插值+超分)

  • Joiner/Merger(将两个视频合并)

此 Single Sampler 工作流包含:

  • 用于 Diffuser 模型和 Clip 的 GGUF 加载器(建议搭配使用 GGUF 模型 + Clip)

  • 用于内存管理的 Block Swap

  • Sage Attention(加速生成时间)——我忘了我是怎么安装的

  • Torch Compile(加速生成时间)——仅当您的系统支持时启用

  • NAG(标准化注意力引导)——在使用 CFG 1 时智能调整负提示的影响

  • Stack LoRA 加载器

  • 按宽度缩放以调整图像尺寸

  • 视频速度控制

  • 帧插值以平滑运动

  • 根据视频长度、速度与插值倍数自动计算帧数与帧率

  • 保存最后一帧(用于视频序列)

  • 颜色匹配(适用于视频序列或保持视频颜色统一)

  • VRAM 清理

  • 超分(最高 2x)

在我的 3090 Ti 24GB 上生成耗时 5分30秒:

  • 720x960 图像 - 4 步 - 81 帧(5秒)- 4倍插值 - 超分 - GGUF - Torch Compile - Sage Attention

上述视频未做速度调整。

包含嵌入式工作流。(下载视频,拖入 ComfyUI)

工作流内附模型/LoRA 文件链接。

请始终从本页面下载文件,因可能有小幅更新。

(使用发布的视频作为设置示例)

我仅测试了少数 LoRA,效果良好。如您使用的 LoRA 效果不佳,可尝试替代品,必要时仍可切换回 Dual Sampler(功能正常但耗时更长)。也可尝试降低 Self-Forcing(lightx2v) 的强度。


🟨 Dual Samplers 模块:

*V2.1 小幅更新

  • VAE 解码(分块) 改为 普通 VAE 解码,以解决视频超过 5 秒或 81 帧时出现的“突然闪烁”问题。

  • 更新所有工作流中的 CausVid v2 链接,或从 此处 获取。(感谢 01hessiangranola851)

*如果您已在使用该工作流:

  • 生成超过 5 秒视频时出现闪烁/亮度突变?请尝试在 VAE 解码(分块)中将 temporal_size 设为 64,或切换至普通“非分块”VAE 解码。

  • 前几帧出现变灰?请降低 CausVid 强度,或直接设为 0.3。

*V2 更新

  1. 为 GGUF Diffusion 模型和 Clip 添加了 GGUF 加载器及下载链接。(请选择 Native 或 GGUF,禁用或删除未使用的版本)

  2. “修复”了 Torch Compile,并添加了 fp16 累积选项。

  3. 颜色匹配(适用于视频序列或保持颜色统一)

  4. 外部视频合并器/连接器模板(在 Expanded 版本中)

  5. CausVid 强度(范围:0.3 - 1)

  6. 微调了视觉效果与注释


此 i2v 工作流设计初衷为:

  • 专为使用 Self-Forcing(lightx2v) LoRA 而构建(但不仅限于此

  • 用于学习与探索

  • 实验性用途

  • 模块化结构(可添加、扩展、替换或提取工作流部分)

  • 展开视图——查看所有连接(在 Expanded 版本中)

此 Dual Sampler 工作流包含:

  • 用于内存管理的 Block Swap

  • Sage Attention(如已安装请开启)

  • Torch Compile

  • Stack LoRA 加载器

  • 按宽度缩放以调整图像尺寸

  • 视频速度控制

  • 帧插值以平滑运动

  • 根据视频长度、速度与插值倍数自动计算帧数与帧率

  • 保存最后一帧

  • 预览初始 KSampler 潜在空间与最终视频图像

  • 使用两个 KSampler 进行双重采样

  • VRAM 清理

  • 超分(最高 2x)

  • 外部帧插值模板(在 Expanded 版本中)


推荐使用的模型:

工作流可使用 wan2.1 14B 480p720p 模型(i2v)。

推荐使用 720p 模型及更高分辨率图像,可获得更佳画质,尤其在运动中的人眼和牙齿表现。

示例:

前 5 步 / 后 3 步 / 81 帧

480p 模型 - 480x640 图像

480p 模型 - 720x960 图像

720p 模型 - 480x640 图像

720p 模型 - 720x960 图像

在我 3090 Ti 24GB 上,使用 Sage Attention 但不使用 GGUF 时的生成速度(前 5 步 + 后 3 步,共 8 步,81 帧,4 倍帧插值):

  • 720 x 960 图像:约 750 秒(12-13 分钟)

  • 480 x 640 图像:约 350 秒(5-6 分钟)

注意:

  • 某些 LoRA 可能导致脸部或角色变形。请降低 LoRA 强度或改用其他 LoRA。

  • 有时需多次生成才能获得更佳运动种子,请耐心尝试。

  • 未测试所有 LoRA,您需自行测试并摸索。

    (480p/720p 模型、图像尺寸、LoRA 强度、起始 CFG)

  • *如果您发现使用的其他 LoRA 在此工作流中过于激进(运动过强、色彩变化剧烈、曝光突变),请降低起始 CFG。建议在 3 与 5 之间交替测试,选择更佳值。

    我上面发布的部分视频使用了较低 CFG,因为其他 LoRA 在高 CFG 下过于激进。

使用其他 LoRA 进行运动草稿:

  • 使用较小图像尺寸以加快生成,测试您使用的 LoRA 是否能产生运动。

  • 一旦满意 LoRA 与提示词,再改用您期望的图像尺寸。

其他建议:

您还可以使用其他 V2V 工作流来清理扭曲/模糊。

例如:

/model/1714513/video-upscale-or-enhancer-using-wan-fusionx-ingredients

或使用人脸替换来修正面部扭曲。


🟨 Dual KSampler

推荐步骤:

  • 5 起始步 / 3 结束步(我测试时最常使用)

  • 4 起始步 / 3 结束步

旧版 T2V Self-Forcing(lightx2v) 有时会阻碍、减慢或减少某些 LoRA 的运动效果。

为获得某些 LoRA 更强的运动,需设置更高的 CFG 值(大于 1),但使用 Self-Forcing(lightx2v) 时,必须将 CFG 设为 1

这时,Dual KSampler 就派上用场了。

  • 第一个 KSampler 使用较高的 CFG 值(3-5),结合 CausVid LoRA 生成更佳“运动潜空间”,以更少步数增强运动。

  • 第二个 KSampler 使用较低的 CFG 值(1),仅用 3 步,以 Self-Forcing(lightx2v) LoRA 快速完成视频。步数过多会使 Self-Forcing(lightx2v) 过度影响,反而减少运动。

为将“运动潜空间信息”传递给第二个采样器,第一个采样器的步数必须超过总步数的一半。

示例:

  • 5 前步 / 3 后步 / 8 总步

  • 4 前步 / 3 后步 / 7 总步

配置为上述方式后,您会在潜在空间预览中看到图像逐渐成形:

此时信息可传递至第二个 KSampler,以少量步数完成生成,而不会过度干扰。

(若第一个采样步数小于或等于总步数的一半,您将看到非常杂乱、无法辨识的图像。)

本质上,7-8 步的生成被拆分为两个 KSampler。

第二个 KSampler 从第一个 KSampler 的结束点继续生成。

(使用两个普通采样器将无法得到相同结果,因为第二个采样器不知道从哪一步继续,它会忽略第一个采样器的输出,从第 0 步重新开始。)

由于初始 KSampler 在 3-5 CFG 下生成较慢,但其优势在于与其它 LoRA 搭配时能获得更强的运动。这比使用 20-30 步无 CausVid 或 Self-Forcing(lightx2v) 的方式快得多。

遗憾的是,带起止步设置的 KSampler 仅适用于 Native 模型,不适用于 WanWrapper。


太多 GET 和 SET 节点了……

!!! 仅在安装 ComfyUI-Easy-Use 自定义节点时可用。*

您可使用 节点映射搜索(Shift+m)功能。

在您的 ComfyUI 界面面板(通常在左侧)中,寻找一个图标:一个方块在上,三个方块在下,称为 Nodes Map

假设您看到一个 "Set_FrameNum" 节点,想找到对应的 "Get_FrameNum" 在哪。

在搜索栏输入:

Get_FramN....

--! 区分大小写 !--

系统将筛选出结果。

双击该结果,即可跳转至对应节点。

同理,查找 Get 节点:

以 "Set_FrameNum" 为例,搜索:

Get_FrameNum

--! 区分大小写 !--

筛选后,双击跳转。


自定义节点

  • ComfyUI-Custom-Scripts

  • rgthree-comfy

  • ComfyUI-KJNodes

  • ComfyUI-Frame-Interpolation

  • ComfyUI-mxToolkit

  • ComfyUI-MemoryCleanup

  • ComfyUI-wanBlockswap

  • MediaMixer

  • ComfyUI-Easy-Use(请手动安装于您的自定义节点管理器中)


后记:

您可以自由扩展、使用部分、编辑、合并并发布本工作流,无需署名。

我未使用 GGUF 的原因是每次尝试安装都会导致我的 ComfyUI 崩溃。

在此点之后,我已无更深入的理解。

此模型生成的图像

未找到图像。