AnimateLCM Image to Video Workflow (I2V)

介绍

这是 AnimateLCM 图像转视频功能的演示。在使用 AnimateLCM I2V 完成初始视频生成后，我进行第二遍处理，使用 AnimateLCM T2V 并结合 Cseti 的通用运动 LoRA，以优化细节并确保 32 帧之间的连贯性。IPAdapter 用于使生成结果更贴近原始图像。

请注意，此工作流需要您针对每张输入图像调整设置，才能获得较优的视频输出。此外，输出视频的动画效果不如在线图像转视频服务那么强烈，视频长度被限制在约 2 秒（30 帧/秒）。

CogVideoX（适用于 16GB 显存）

仅当您的显存不足以运行 CogVideoX 时才使用此工作流。若您拥有 16GB 显存，请安装 kijai 的 CogVideoX 封装节点（https://github.com/kijai/ComfyUI-CogVideoXWrapper/），并加载示例文件夹中的 I2V 工作流。为降低显存占用：请在（下载/加载）CogVideo 模型节点中启用 fp8 transformer，并在 CogVideo 解码节点中启用 _vae_tiling。

节点说明

红色：需要用户下载或选择模型

蓝色：需要用户输入以更改设置或提供输入图像

棕色：工作流说明，请在使用过程中仔细阅读

自定义节点（通过管理器安装）

• ComfyUI Frame Interpolation

• ComfyUI_IPAdapter_plus

• AnimateDiff Evolved

• ComfyUI-VideoHelperSuite

• ComfyUI Essentials

• KJNodes for ComfyUI

• ReActor Node for ComfyUI（可选）

所需模型

• Cseti 的通用运动 LoRA（models/animatediff_motion_lora）：https://huggingface.co/Cseti/General_motionLoRA_32fr_sd15_ad2_v1

• https://huggingface.co/wangfuyun/AnimateLCM

  • AnimateLCM_sd15_t2v.ckpt（models\animatediff_models）

  • AnimateLCM_sd15_t2v_lora.safetensors（models\loras）

• https://huggingface.co/wangfuyun/AnimateLCM-I2V

  • AnimateLCM_sd15_i2v.ckpt（models\animatediff_models）

  • AnimateLCM_sd15_i2v_lora.safetensors（models\loras）

• https://huggingface.co/guoyww/animatediff/tree/cd71ae134a27ec6008b968d6419952b0c0494cf2

  • v3_sd15_adapter.ckpt（models\loras）

• 通过管理器下载：

  • ip-adapter-faceid-plusv2_sd15_lora.safetensors

  • ip-adapter-plus_sd15.safetensors

  • CLIPVision 模型（IP-Adapter）CLIP-ViT-H-14-laion2B-s32B-b79K