Unlimited length I2V (Framepack + LoRA support !)

详情

模型描述

无限长度图像转视频 — ComfyUI 工作流

欢迎使用 ComfyUI无限长度图像转视频(I2V) 工作流,该工作流通过利用 FramePack 系统,突破了视频生成的边界,可生成几乎无限长度的视频(即帧数不再受限于过去 Hunyuan 或 Wan 实现中的 96 帧限制)。
就在几周前,这种输出还是不可能实现的——如今,只需几个节点即可完成。

⚠️ 这是一个初版工作草案,即将迎来重大改进(见下文)。


🚀 功能简介

该工作流使用 FramePack 实现长序列、连贯的图像到视频(I2V)生成。通过将原始 FramePack I2V 架构与 ComfyUI 的模块化灵活性及原生模型支持相结合,这一设置为超越传统帧数限制的图像动画开辟了全新的创意可能。

当前功能包括:

  • 实验性 LoRA 支持!

  • 自动将输入图像调整至最近的兼容格式

  • 支持结束帧

  • 接受任意输入分辨率(将自动四舍五入至最近的有效值)

  • 使用 LLM 进行图像描述

  • 使用 teacache 缓存机制

我还尝试在工作流中为每个设置添加了说明注释,使用时无需保留本页面!


🔧 依赖项

要运行此工作流,您需要以下内容:

  • 支持 fp16 和 bf16 的 Nvidia RTX 30XX、40XX、50XX 系列 GPU。GTX 10XX/20XX 系列未经过测试。

  • 6GB 显存(没错,仅需 6GB!可在笔记本上运行!)

🧩 必需的 ComfyUI 自定义节点

📦 模型与资源下载

1. 原生模型(文本编码器、VAE、sigclip):

2. Transformer(FramePack)模型:


☕ 可选功能:Teacache

Teacache 是一种为扩散模型设计的智能缓存系统,用于存储中间计算状态,可大幅缩短生成时间,尤其在迭代微调或生成多个相似输入的视频片段时效果显著。

本工作流包含开关,可根据您的显存容量和对速度或全新生成的优先级,选择启用或禁用 Teacache。

Teacache 加速效果:重复运行时速度最高提升 2 倍


更新信息

如果您从本工作流的 v0.1 或 v0.2 版本升级,请将 kijai/ComfyUI-FramePackWrapper 更新至 dev 分支。
前往:ComfyUI/custom_nodes/ComfyUI-FramePackWrapper

在 PowerShell / Bash 中输入:

  • git switch dev

  • git pull

当然,您需要已安装 git。

目前 LoRA 支持仍处于高度实验阶段。您仅能使用 HunYuan 视频 LoRA,且效果相当随机。原因在于,这些 LoRA 均基于极短视频(因原始限制)训练,而 FramePack 生成的是高帧数视频,因此存在不兼容问题。我未来会尝试改进(这并非工作流本身的限制,而是原始 FramePack 实现的问题)。


⚡ 性能基准测试

在我的“旧款”RTX 3090 上测试:

  • 分辨率:704x544

  • 长度:150 帧

  • 生成耗时:11 分钟

另一组测试:

  • 384x448,600 帧生成耗时 15 分钟。

原项目声称,在 RTX 4090 台式机上,未优化时生成速度为 2.5 秒/帧,启用 Teacache 后为 1.5 秒/帧。


🧪 当前状态

本版本为第二版草案,功能基本可用,且“直击重点”。
这也是我在 Civit.ai 上的首个工作流贡献!请对您的反馈保持友善。

下一步计划:

  • 超分辨率(即将推出)

  • 其他提升画质的方法


📎 原始项目归属

FramePack 最初由 lllyasviel 开发。本工作流通过 Kijai 的封装及额外优化和用户友好功能,将其集成至 ComfyUI。


🧠 致谢

  • @lllyasviel — 原始 FramePack 架构

  • @Kijai — ComfyUI 节点封装

  • Comfy-Org — 模型与管线集成

  • 所有 ComfyUI 社区成员 — 测试与反馈

默认设置基于我的 RTX 3090(24GB 显存)。若您显存较少且出现内存不足,请先将 FramePack 模型切换为 fp8 版本;若仍不足,尝试降低 VAE 批处理参数。

请将您使用此工作流生成的所有视频发布在此处,我非常想看看你们创作了什么!

此模型生成的图像

未找到图像。