Make Clouds Dance!

简介

此工作流利用 AnimateDiff、IPAdapter 和 ControlNet 实现云朵的舞蹈效果。本工作流的核心创新在于：我对深度图进行 VAE 编码，并调整去噪参数，使得深度图被去噪为云朵。这一方法避免了因 AnimateDiff 的上下文长度导致每 16 帧出现视频变形的问题。

模型

1. SD1.5 LCM 检查点。我使用 Dreamshaper 8 LCM：/model/4384?modelVersionId=252914

2. AnimateLCM_sd15_t2v.ckpt：从 https://huggingface.co/wangfuyun/AnimateLCM/tree/main 下载，并放置于 models/animatediff_models 目录中。

3. depth_anything_v2_vitl.pth 和 control_v11f1p_sd15_depth_fp16.safetensors：使用 Manager 下载。

4. IPAdapter PLUS：使用 ComfyUI Manager 下载 ip-adapter-plus_sd15.safetensors。同时使用 ComfyUI Manager 下载 ViT-H 和 ViT-G 的 clip_vision 模型。

自定义节点

通过 Manager 安装：

1. ComfyUI-VideoHelperSuite

2. KJNodes for ComfyUI

3. ComfyUI 的 ControlNet 辅助预处理器

4. AnimateDiff Evolved

5. ComfyUI_IPAdapter_plus

6. ComfyUI Frame Interpolation