Wan VACE Clip Extender
详情
下载文件
模型描述
ComfyUI Wan VACE 视频扩展器
此工作流使用 Wan VACE 从视频的指定点生成新帧。
功能说明
这是一个轻量级的(几乎)无需自定义节点的 ComfyUI 工作流,旨在快速使用 Wan VACE 延长视频,操作极为简便。只需加载你的视频,指定扩展起始点和要生成的新帧数量即可。
依赖项
此工作流需要我的 ComfyUI-Wan-VACE-Prep 自定义节点包。它替代了大量繁琐的流程数学运算,使这个轻量级工作流成为可能。
在 ComfyUI Manager 中搜索 Wan VACE Prep,或直接加载工作流后前往 Manager 中的 Missing 标签页。
这是一个非常轻量的包,无任何依赖项,因此极不可能破坏你的系统(如果你担心这一点的话)。
我尚未在 Nodes 2.0 UI 下测试此工作流或自定义节点。
配置与模型
要运行此工作流,你需要以下模型的某种组合。如前所述,除非正确配置,否则此工作流无法在你的系统上正常运行。你可能已经有一个在你的系统上运行良好的 Wan 视频生成工作流,你需要将此工作流配置得与你的生成工作流类似。Sampler 子图包含 KSampler 节点和模型加载节点。请根据你的系统情况自由调整,直到感觉合适为止。如果你的系统支持,请启用 sageattention 和 torch compile 节点。务必确保所有子图的输入输出正确传递数据,尤其是你加载的扩散模型必须是 Wan2.2 Fun VACE 或 Wan2.1 VACE 之一。GGUF 格式可以正常工作,但非 VACE 模型不行。
Wan 2.2 Fun VACE
Wan 2.1 VACE
Kijai 提取的 Fun Vace 2.2 模块,可用于与标准 T2V 模型一同加载。原生使用示例见此处。
故障排除
张量 a 的大小必须在非单例维度 1 上与张量 b 匹配 - 检查你的输入视频的两个维度是否都能被 16 整除,如不能请进行调整。有趣的是:1080 不能被 16 整除!
亮度/色彩偏移 - VACE 有时会影响其生成片段的亮度或饱和度。我不清楚如何避免这种倾向,我认为这是模型内置的特性。禁用 lightx2v 速度 LoRA 可能有所帮助,同时确保在此工作流中使用的 LoRA 及其强度与你生成片段时完全一致。有些人报告在输出前使用色彩匹配节点取得了成功。不过我认为具体解决方案因情况而异。我找到的最一致的缓解方法是:在此工作流后将帧率插值提升至 30 或 60 fps。插值会降低色彩偏移的感知度。偏移仍然存在,但被分散到 60 帧而非 16 帧,因此对我们的眼睛而言不再表现为突然的变化。
关于帧率 - Wan 模型是在 16 fps 下训练的,因此如果你的输入视频帧率更高,可能会得到次优结果。至少,你需要根据你的帧率超出 16 fps 的倍数,增加上下文帧数和替换帧数,以实现与 VACE 相同的效果。我建议将输入强制降至 16 fps 以进行此工作流处理,然后再插值回你期望的帧率。
如果你无法使工作流正常运行,请更新 ComfyUI 并重试。如果你不愿更新 ComfyUI,我无法提供帮助。我们必须从相同的起点开始。
欢迎在 GitHub 上提交问题。这是与我直接沟通的最直接方式。若想节省时间,可将失败运行的完整控制台日志粘贴到你的问题中。
更新日志
- v1.0.0 初始发布。
