Tik Tok Dance Workflow (Solid Colour Background)

简介

此工作流是根据用户需求生成的。我收到了许多请求，希望我制作一个 Mimic Motion 工作流的版本，允许用户输入一张图片（来自照片、SDXL 或 Flux），并生成具有纯色背景的舞蹈视频，以便导入任何视频编辑软件。

此工作流使用 Mimic Motion 生成角色的动作，并使用 Grounding Dino 将角色合成到纯色背景上。

ComfyUI 版本

此工作流已在 ComfyUI v0.21 上测试，通过管理器安装自定义节点时不应出现包冲突：https://github.com/comfyanonymous/ComfyUI/releases/tag/v0.2.1

限制

如果你观看上述视频，会发现舞者与头发的互动并未正确动画化。这是因为 Mimic Motion 的输入仅为 Open Pose 信息。如果同时使用深度信息，头发的互动将会被正确动画化。

节点

节点按颜色编码：

• 红色：这些模型必须下载并放置在相应文件夹中。下载后，刷新 ComfyUI 并确保正确选择了模型。

• 蓝色：这些是用户输入，可以是包含原始舞蹈动作的视频，或提示词/设置。

• 棕色：这些是注释，用于解释工作流中的操作过程。

请使用 ComfyUI 管理器安装缺失的节点。此工作流使用的自定义节点包括：

• ComfyUI Impact Pack

• ComfyUI Frame Interpolation

• AnimateDiff Evolved

• ComfyUI-VideoHelperSuite

• ReActor Node for ComfyUI

• rgthree's ComfyUI Nodes

• ComfyUI Essentials

• ComfyUI-MimicMotionWrapper

• segment anything

模型

部分模型会自动下载，部分通过 ComfyUI 管理器下载，其余需手动下载并放置到相应文件夹中。

• AnimateLCM：https://huggingface.co/wangfuyun/AnimateLCM 将 AnimateLCM_sd15_t2v.ckpt 放入 "models/animatediff_models"，将 AnimateLCM_sd15_t2v_lora.safetensors 放入 "models/loras"

• SD1.5 检查点：可根据您生成的视频类型（写实/动漫）选择您喜欢的模型。我使用 Realistic Vision，因其符合我的写实生成目标。

• control_v11p_sd15_openpose.safetensors：通过 ComfyUI 管理器下载

• MimicMotion、Segment Anything、Grounding Dino、ReActor 模型应自动下载

• 若在安装 insightface 时遇到问题，请参阅故障排除部分说明：https://github.com/Gourieff/comfyui-reactor-node