VACE FLF2V for Looping, Morphing and Whatnot

详情

下载文件

模型描述

你知道生成短视频最糟糕的是什么吗?没错,就是一切。它们根本无法观看。VACE 却相当出色,非常适合填补空白。仅靠乒乓式插值能走的路终究有限——不过,就算真有人用,也极少有人愿意在合适的时候去用它。

选择一帧起始帧,再选一帧结束帧,点击按钮即可。

你可以用图片作为帧,也可以切换开关,直接从现有视频中提取起始/结束帧。有一个 Florence 自动提示组,能让你从任一端点或插值的中间点生成提示词。如果两张图片差异过大,中间点可能会变成一团模糊,但如果它们很接近,这个功能就很有用。你还可以在单独的框中添加关于运动和速度的提示,如果选择使用它,这些提示会与 Florence 的输出拼接在一起——显然,Florence 本身不会提供这些内容。如果你手动输入提示,所有内容都可以直接放在常规提示框里。

还有超分辨率、插值和面部修复组。

我为每个组都写了详细的使用说明。

如果某个部分很重要,附近一定会有注释。我保证。

除非你想混合视频和图像输入,否则你根本不需要手动拖动任何节点连接。就预期输出而言,你真正需要调整的只有 LoRa 的权重(模型/CLIP 权重可独立调节)和 VACE 强度。这比起通常那种排列组合的噩梦,简直好太多了。顺便说一句,这速度简直快到离谱。Sage Attention 有帮助(如果你害怕它,可以关掉),但即使不启用,速度依然惊人。我生成一个 61 帧、分辨率为 704x1280 的流畅过渡,大概只需 6 分钟,用一个 14B 的 480p 模型效果非常好。你可以把帧数减半再升频,但效果远不如前者。720p 模型的质量提升似乎不值得多花的时间——至少现在还不值得。

自动化方面还有大量工作要做,但如果再加更多布尔开关,其他人用起来会晕头转向,所以我决定就按这个版本发布。我想尝试自动 3–6 帧的交叉淡入淡出,这能缓解仍存在的色彩问题(虽然现在已没那么严重)。当然,还有链条式连接——我在其他工作流里见过,但全都烂到不行,我始终没用出什么名堂。走着瞧吧。

这个工作流基于 ComfyUI 模板中提供的 VACE 入门基础版本。

主要模型均已链接,其余部分你可以自行推断。

* 原始发布的工作流中,reActor 组存在一个错误,可能导致提前中止。我已修正此问题。我还为帧选择器添加了滑块,你无需做任何心算——它已针对此用例自动设置合适的增量。第二组图像始终为 n-2,这仍会在后台自动完成。

此模型生成的图像

未找到图像。