Wan2.2 - continuous generation (subgraphs)

详情

下载文件

模型描述

编辑3:除了可能即将发布的I2V lightx2v外,原生端几乎没有改进。等它发布后,我可能会制作一个v0.4的双采样器版本。

编辑2:我又做了一些测试。过渡效果并未比当前状态有显著提升——它大部分时候表现良好,其余情况也还过得去。

我会暂时休息一下,直到ComfyUI为Wan2.2添加原生的extend节点,就像他们为SI2V模型所做的那样。他们可能还会顺便修复子图问题。

依然在等你分享你的创意生成作品 :)


编辑:Context Windows的结果参差不齐,所以我还不打算发布所谓的v0.5。


v0.4;

我不确定该称它为v0.3.1还是v0.4,但修复一些问题花了不少时间,所以就叫v0.4吧。

我从没想过分块解码会导致这么多问题,但事实就是这样。大部分明显的人工痕迹都与之相关。因此我改用普通的VAE解码,并调整了相关变量。如果你遇到OOM,可以切换回分块模式并降低变量值,但我建议不要改动temporal_size,因为将其设为小于生成帧数会导致这些帧周围出现颜色变化。同样,tile size也会造成“分块”方块烧录现象。

我还建议使用fp32 VAE以最小化质量损失;
https://huggingface.co/Kijai/WanVideo_comfy/blob/main/Wan2_1_VAE_fp32.safetensors

我在时间轴上增加了几帧。它仍然不完美,但如前所述,有时确实有效,效果也不错。

在约1分钟处仍有轻微的光晕效果,我切换到官方的lightx2v LoRA,它们似乎略微缓解了光晕,但随着视频推进会导致过曝,因此我仍会使用Kijai仓库中的版本,只是请注意其中的鬼影问题。

我不确定量化等级是否会影响效果,但如果您的系统能承受,建议对I2V模型使用更高品质的量化版本。

我尚未测试comfyui-frontend对子图的更新,因此目前建议仍使用版本1.26.2:

.\python_embeded\python.exe -m pip install comfyui_frontend_package==1.26.2

现在,只需不将T2V输出连接到任何地方,工作流就会跳过它。

我还看到了为Wan新增的节点,等我有空时会去研究一下。

看来我不在Reddit发帖,大家就不怎么分享生成作品了呢?那群粉丝到底在偷偷生成什么?让我们看看吧 \o-o/


v0.3;

如我之前编辑所言,请继续使用ComfyUI前端1.26.2,直到我确认未来版本稳定。您可以在v0.2下方或v0.3更新日志中找到该命令。

这次我对最终合并保存功能做了一点改进:分段文件单独保存,仅在所有部分完成后才合并。这样应更优化、临时空间占用更少,但最终保存时可能消耗较多内存,因为所有内容都会被加载——不过文件本身并不大。

值得一提的是,我通过实际混合前5帧并赋予不同权重,实现了一个非常基础的时间运动模糊。它不能解决所有问题,但有时过渡看起来很平滑。如果您调整了权重并发现更好的效果,欢迎分享您的体验。

我还为每个部分添加了三个LoRA加载节点,以展示如何加载部分专用LoRA,您可以在此基础上扩展。

现在,最终保存子图内包含一个使用简单上采样模型节点的上采样子图,或者您也可以连接并使用我放置的“基本上采样图像”节点。由于上采样耗时且基本上采样效果提升有限,这些节点默认被绕过。

最后,默认视频格式现在为竖屏。

我对最终效果还算满意,但提示遵循度在结尾处略有下降——我不确定是否与我尝试生成的场景有关,但使用更高Q值的CLIP可能有所帮助。

最终,我目前似乎是排名第一的资源创作者,这对我来说意义重大 :) 感谢所有人,尤其是那些提供反馈和……精彩生成作品的人。

期待更多作品,祝您创作愉快!


v0.2;

  • 编辑2:

    • 他们似乎破坏了链接子图和绕过功能,但未正确绕过内部节点,因此目前您需要回退到ComfyUI前端1.26.2才能正常使用:
.\python_embeded\python.exe -m pip install comfyui_frontend_package==1.26.2
  • 编辑:

    • 发现过渡帧再次被重复,已修复。

    • 添加了视频转MP4的工作流,若生成失败,您可以将最新生成的合并.mkv文件转换为更小的文件以便打开。

    • 修复了建议帧率默认超过16的问题。

我进一步做了一些实验。由于我比较喜欢子图,我希望它们能更主流、更广为人知 :) 因此我将模型加载及一些其他选项移入子图中,以便社区成员深入探索,同时主界面也更简洁。虽然可能稍复杂,但我已添加了一些注释帮助您理解,欢迎查看。

我实现了视频合并功能。但由于每个部分都会动态与之前部分合并,压缩伪影就成了问题,因为前几部分被反复压缩。为避免此问题,我决定以无损质量的ffv1-mkv格式保存这些部分。工作流末尾仍保留一个最终保存节点,用于将最终输出保存为h264 mp4格式。

在默认设置下,832x480x81 x6 I2V部分生成的30秒视频,临时文件夹中占用空间不足1GB(该文件夹在每次重启ComfyUI时都会清空),您也可以在生成完成后手动删除。

我还添加了插值节点(默认绕过),如果您想在最终输出中使用,但处理6x81帧需要较长时间。

另外,我实现了将最后一帧图像保存到outputs文件夹的功能,并增加了全局种子选项,适用于所有采样器,以便您在需要时继续旧生成或通过参数变化重新生成。

如果您不再需要这些图像,建议定期清理outputs文件夹,或手动关闭该功能。

感谢社区在本处和Reddit上的反馈,我非常感激。也期待看到更多生成作品的分享 :)

目前,除非我实现像更平滑过渡等重大功能,否则短期内可能不会再发布更新。


本工作流仅是对ComfyUI新子节点的一次实验。
其原理是将前一视频生成的末帧作为下一生成的首帧输入。但与大量杂乱节点不同,您只需一个I2V节点,它共享相同的KSAMPLER子节点并反复迭代。您可以将其视为ComfyUI中的“帧包”,同时还能为每个生成部分分别输入提示词。我保留了负向提示词为公共项,但也可设为动态。

我未实现拼接功能,因为我使用的是基础视频编辑软件,但未来也可加入。

编辑:我忘记将输出视频保存到outputs文件夹,因为我原本打算不合并它们。因此文件最终都存放在comfyui/temp文件夹中(该文件夹在下次运行ComfyUI时会自动清理)。

v0.1中的第一个视频为834x480,采用1 3 3采样,生成耗时23分钟;第二个视频为624*368,采用1 2 2采样,耗时13分钟。第二个视频是在最新版本中生成的,已修复了last_frame重复显示的问题。

请务必更新您的ComfyUI前端,旧版本存在严重bug。尽管新版本可能仍有一些问题,请留意。便携版更新命令如下:

.\python_embeded\python.exe -m pip install comfyui_frontend_package --upgrade

采样流程为1 + 3 + 3,其中第一步不应用速度LoRA,其余步骤为应用速度LoRA的基础高/低采样。整个流程基本可自定义,但请记住:“KSAMPLER子节点被所有主节点共用,因此修改将同时影响所有节点!”。如果您想更改每部分的输出分辨率和长度,I2V_latent子节点也是如此。

要扩展生成,请点击任意一个I2V子节点并复制,按Ctrl+Shift+V粘贴并保留所有连接,然后将前一节点的末帧图像连接到其start_image输入。您也可以将“加载图像”节点连接到初始I2V的start_image输入,以跳过T2V生成(请勿使用快捷键绕过节点,这可能会破坏子节点)。

由于原生模型在我的系统上频繁崩溃,我所有内容均基于GGUF量化模型实现。您可以自由修改流程,禁用Patch Sage注意力,并从模型加载子节点中编译模型节点,但速度下降会比较明显。

在我的4070ti上,启用Sage++和Torch编译后,T2V + 6x I2V(总计30秒)耗时约20-25分钟。

希望未来社区能贡献出更出色的流程 :)

此模型生成的图像

未找到图像。