Tik Tok Dance Workflow (Mimic Motion + Animate Diff)

下载版本

v3.1 是为拥有 16GB 显存的用户提供的此工作流的次要更新，它能在单个工作流中生成完整的舞蹈视频。

v4.0 将此工作流拆分为五个部分，以将显存使用量限制在 12GB 内，希望这能让更多用户使用此工作流。

ComfyUI 版本

此工作流已在 ComfyUI v0.21 上测试，通过管理器安装自定义节点时应不会出现包冲突：https://github.com/comfyanonymous/ComfyUI/releases/tag/v0.2.1

简介

此工作流使用 Mimic Motion 生成角色的动作，并使用 AnimateDiff 创建 16 帧循环的背景视频。随后，Grounding Dino 用于将角色与背景合成。最佳使用场景为摄像头固定、所有动作均由舞者完成的驾驶视频。

动机是利用这两个模型的优势，尽可能生成一致的视频。

局限性

如果您观看上述视频，会发现舞者与头发的互动并未正确动画化。这是因为 Mimic Motion 以 Open Pose 信息作为输入。如果同时使用深度信息，头发的互动就能被正确动画化。

节点

节点采用颜色编码：

• 红色：这些模型必须下载并放置在相应的文件夹中。下载后，请刷新 ComfyUI 并确保选择了正确的模型。

• 绿色：这些节点的模型将自动下载。

• 蓝色：这些是用户输入，可以是包含原始舞蹈动作的视频，或提示/设置。

• 棕色：这些是注释，用于说明工作流的运行过程。

请使用 ComfyUI 管理器安装缺失的节点。此工作流使用的自定义节点包括：

• ComfyUI Impact Pack

• ComfyUI 的 ControlNet 辅助预处理器

• ComfyUI 帧插值

• AnimateDiff Evolved

• ComfyUI-VideoHelperSuite

• ReActor Node for ComfyUI

• rgthree's ComfyUI Nodes, ComfyUI Essentials

• ComfyUI-MimicMotionWrapper

• segment anything

• Comfyui lama remover

模型

部分模型自动下载，部分通过 ComfyUI 管理器下载，其余需手动下载并放置到对应文件夹中。

• AnimateLCM：https://huggingface.co/wangfuyun/AnimateLCM 将 AnimateLCM_sd15_t2v.ckpt 放入 "models/animatediff_models"，将 AnimateLCM_sd15_t2v_lora.safetensors 放入 "models/loras"

• SD1.5 检查点：可根据您生成的视频类型（写实/动漫）选择您喜欢的模型。我使用 Realistic Vision，因为我追求写实效果。

• control_v11p_sd15_openpose.safetensors：通过 ComfyUI 管理器下载

• MimicMotion、Segment Anything、Grounding Dino、ReActor 模型应自动下载

• 如在安装 insightface 时遇到问题，请参阅故障排除部分说明：https://github.com/Gourieff/comfyui-reactor-node