Unlimited length I2V (Framepack + LoRA support !)
详情
下载文件
关于此版本
模型描述
无限长度图像转视频 — ComfyUI 工作流
欢迎使用 ComfyUI 的 无限长度图像转视频(I2V) 工作流,该工作流通过利用 FramePack 系统,突破了视频生成的边界,可生成几乎无限长度的视频(即帧数不再受限于过去 Hunyuan 或 Wan 实现中的 96 帧限制)。
就在几周前,这种输出还是不可能实现的——如今,只需几个节点即可完成。
⚠️ 这是一个初版工作草案,即将迎来重大改进(见下文)。
🚀 功能简介
该工作流使用 FramePack 实现长序列、连贯的图像到视频(I2V)生成。通过将原始 FramePack I2V 架构与 ComfyUI 的模块化灵活性及原生模型支持相结合,这一设置为超越传统帧数限制的图像动画开辟了全新的创意可能。
当前功能包括:
实验性 LoRA 支持!
自动将输入图像调整至最近的兼容格式
支持结束帧
接受任意输入分辨率(将自动四舍五入至最近的有效值)
使用 LLM 进行图像描述
使用 teacache 缓存机制
我还尝试在工作流中为每个设置添加了说明注释,使用时无需保留本页面!
🔧 依赖项
要运行此工作流,您需要以下内容:
支持 fp16 和 bf16 的 Nvidia RTX 30XX、40XX、50XX 系列 GPU。GTX 10XX/20XX 系列未经过测试。
6GB 显存(没错,仅需 6GB!可在笔记本上运行!)
🧩 必需的 ComfyUI 自定义节点
- Kijai 的 ComfyUI FramePack 封装器
➜ https://github.com/kijai/ComfyUI-FramePackWrapper
截至撰写时,该节点尚未集成至 ComfyUI 界面。您可通过 Manager > 通过 Git URL 安装 > https://github.com/kijai/ComfyUI-FramePackWrapper.git 安装。
如需 LoRA 支持:您需使用 “dev” 分支,据我所知,无法通过图形界面完成。您需要打开 PowerShell(或 Linux 上的 bash),进入 ComfyUI/custom_nodes 并执行:git switch dev+git pull。
📦 模型与资源下载
1. 原生模型(文本编码器、VAE、sigclip):
2. Transformer(FramePack)模型:
🧠 自动下载(推荐):
来自 HuggingFace:lllyasviel/FramePackI2V_HY
➜ 放置路径:ComfyUI/models/diffusers/lllyasviel/FramePackI2V_HY🧠 手动下载(单个 safetensors 文件):
放置路径:ComfyUI/models/diffusion_models/FramePackI2V_HY_fp8_e4m3fn.safetensors
(针对低显存 GPU 优化,使用 FP8 与低精度以提升兼容性)FramePackI2V_HY_bf16.safetensors
(更适合高显存 GPU,借助 BF16 精度提供更高保真度)
☕ 可选功能:Teacache
Teacache 是一种为扩散模型设计的智能缓存系统,用于存储中间计算状态,可大幅缩短生成时间,尤其在迭代微调或生成多个相似输入的视频片段时效果显著。
本工作流包含开关,可根据您的显存容量和对速度或全新生成的优先级,选择启用或禁用 Teacache。
Teacache 加速效果:重复运行时速度最高提升 2 倍
更新信息
如果您从本工作流的 v0.1 或 v0.2 版本升级,请将 kijai/ComfyUI-FramePackWrapper 更新至 dev 分支。
前往:ComfyUI/custom_nodes/ComfyUI-FramePackWrapper
在 PowerShell / Bash 中输入:
git switch dev
git pull
当然,您需要已安装 git。
目前 LoRA 支持仍处于高度实验阶段。您仅能使用 HunYuan 视频 LoRA,且效果相当随机。原因在于,这些 LoRA 均基于极短视频(因原始限制)训练,而 FramePack 生成的是高帧数视频,因此存在不兼容问题。我未来会尝试改进(这并非工作流本身的限制,而是原始 FramePack 实现的问题)。
⚡ 性能基准测试
在我的“旧款”RTX 3090 上测试:
分辨率:704x544
长度:150 帧
生成耗时:11 分钟
另一组测试:
- 384x448,600 帧生成耗时 15 分钟。
原项目声称,在 RTX 4090 台式机上,未优化时生成速度为 2.5 秒/帧,启用 Teacache 后为 1.5 秒/帧。
🧪 当前状态
本版本为第二版草案,功能基本可用,且“直击重点”。
这也是我在 Civit.ai 上的首个工作流贡献!请对您的反馈保持友善。
下一步计划:
超分辨率(即将推出)
其他提升画质的方法
📎 原始项目归属
FramePack 最初由 lllyasviel 开发。本工作流通过 Kijai 的封装及额外优化和用户友好功能,将其集成至 ComfyUI。
🧠 致谢
@lllyasviel — 原始 FramePack 架构
@Kijai — ComfyUI 节点封装
Comfy-Org — 模型与管线集成
所有 ComfyUI 社区成员 — 测试与反馈
默认设置基于我的 RTX 3090(24GB 显存)。若您显存较少且出现内存不足,请先将 FramePack 模型切换为 fp8 版本;若仍不足,尝试降低 VAE 批处理参数。
请将您使用此工作流生成的所有视频发布在此处,我非常想看看你们创作了什么!
