Wan Join Clips

详情

下载文件

模型描述

更新

在使用此工作流时,我采用了新的 Lightx2v LoRA(https://huggingface.co/Kijai/WanVideo_comfy/blob/main/Wan21_T2V_14B_lightx2v_cfg_step_distill_lora_rank32.safetensors),取得了非常出色的效果。有关此 LoRA 及其来源的更多信息,请参阅:/model/1585622/self-forcing-causvid-accvid-lora-massive-speed-up-for-wan21-made-by-kijai。该文章指出需要复杂的流程才能使用这一新工具,但根据我的经验,无需添加额外节点,它也能运行得非常好。要使用它,你只需完成以下三步:

  1. 将 LoRA 添加到“设置”区域中的 LoRA 加载器节点。

  2. 将 CFG 值改为 1.0。

  3. 将步数调整为 4 到 20 之间的任意值。我通常使用 10 步,效果非常好。

使用此 LoRA 完全没有增加我的 VRAM 占用量,且视频生成速度远超常规。它快到足以轻松将过渡时间从 3 秒延长至 5 秒,从而获得完整的 5 秒新内容,而整体生成速度仍比之前快得多。

本工作流结合 Wan 与 Vace,通过一个过渡视频无缝连接两个视频片段,该过渡视频能平滑地融合过渡两侧的运动。最终结果是一个三段式视频,避免了简单“从最后一帧扩展视频”时常见的突兀运动变化。

本工作流的重要贡献归功于 pftq 创建的 无缝视频扩展工作流。正是这个工作流首次让我了解到这一功能的存在,并为我构建本版本提供了基础框架。pftq 的工作流使用了 Kijai 的 Wan Wrapper 节点,因此如果你更倾向于使用 Wrapper 节点以利用所有选项和插件,完全可以尝试 pftq 的工作流。本工作流则完全使用原生 ComfyUI 节点进行 Wan 处理。

本工作流的一个目标是尽可能自动化整个流程。为了让 Vace 填充空白区域,你必须首先用正确的遮罩创建两个自定义视频。若没有优秀的编辑软件,这项工作会非常繁琐,但简单的扩展遮罩可通过 ComfyUI 结合几个自定义节点轻松完成。本工作流正是这一努力的成果。

虽然工作流看起来庞大,但一旦你确认所有模型加载正常,并将视频保存路径按你的喜好设置好,你实际上只需使用左上角的三个分组即可。你只需设置起始与结束片段、调整步数等参数,然后运行工作流并查看输出。所有遮罩、缩放和帧插值/平滑处理均已自动化。

所有内部机制均已开放,我尽量保持节点连接清晰整洁,避免过多混乱的连线,因此你可以自由调整任何部分。你可能会发现一些隐藏的设置参数值得微调,例如“模型采样偏移”(Model Sampling Shift)值等。

在我的机器上,使用此处提供的默认参数,我的 16GB VRAM 显卡能够完整加载并运行此工作流,无需使用任何共享 GPU 内存,也无需进行块交换。通常稳定占用约 14.2GB VRAM,具体表现可能因设备而异。

希望你喜欢这个工作流。

此模型生成的图像

未找到图像。