ComfyUI image-morphing low-VRAM LCM video animation workflow with poses
详情
下载文件
关于此版本
模型描述
使用此工作流,我在配备少于4GB显存的RTX 2060移动显卡上,用19分钟生成了1024x1024分辨率、12.5秒、8fps的视频(768x768分辨率则耗时13分钟)。
此工作流旨在通过两个IPAdapter图像模型生成视频过渡效果。此外,可使用OpenPose图像以辅助动画生成。
工作流以批次大小为1逐帧迭代,因此显存占用较低。
工作流仅生成png帧,实际视频需使用外部工具(如ffmpeg)合成:
ffmpeg -framerate 8 -pattern_type glob -i 'vid4*.png' vid4.webm
版本2备注:
用于保存图像文件名前缀的计算应更改为 "a + b.zfill(5)",以便更方便地对文件名排序。
以下是我生成示例视频时使用的姿势图:/model/329183(需调整文件名和路径)
版本1备注:
我在工作流中使用了以下OpenPose图像,但也可适配其他姿势:
/model/162947/open-pose-dwpose-running-animation-figures
(需调整路径)
当前工作流使用SVD作为CLIP_VISION模型,但也可替换为其他CLIP_VISION模型或加载器。
版本2更新日志:
优化了分组布局
改用普通CLIP_VISION加载器,而非SVD
将姿势帧编号保存在文件名中
添加了深度控制网
增加图像变形旁路与控制网旁路功能
增加了IPAdapter强度控制
版本2.5(开发中,预计六月发布):
增加生成帧之间更高一致性的选项
用Impact Pack中的手动队列或循环节点替代原有的“hacky”jobiterator节点

