Singing Avatar (Live Portrait, Mimic Motion, AnimateLCM)

详情

模型描述

此工作流使用 MimicMotion 驱动头部姿态的生成。背景被替换为静态图像,使用 ReActor 进行人脸替换,并在 AnimateLCM 通道上应用差分扩散来动画化背景并清理歌手形象。随后使用 Live Portrait 传输嘴唇和/或眼睛。

ComfyUI 版本

此工作流已在 ComfyUI v0.21 上测试,通过管理器安装自定义节点时不应出现包冲突:https://github.com/comfyanonymous/ComfyUI/releases/tag/v0.2.1

节点

红色节点为需要下载并在工作流中选择的模型。

蓝色节点为需要用户输入的节点。

建议使用 ComfyUI 管理器安装以下自定义节点。您需要遵循 ReActor 节点 GitHub 页面的说明安装 InsightFace(https://github.com/Gourieff/comfyui-reactor-node?tab=readme-ov-file#troubleshooting

  • ComfyUI 的 ControlNet 辅助预处理器
  • ComfyUI 帧插值
  • AnimateDiff Evolved
  • ComfyUI-VideoHelperSuite
  • ComfyUI 的 ReActor 节点
  • ComfyUI Essentials
  • KJNodes for ComfyUI
  • ComfyUI-MimicMotionWrapper
  • ComfyUI-LivePortraitKJ
  • Crystools

模型

手动下载并放置于文件夹中:

  • AnimateLCM:https://huggingface.co/wangfuyun/AnimateLCM 将 AnimateLCM_sd15_t2v.ckpt 放入 "models/animatediff_models",将 AnimateLCM_sd15_t2v_lora.safetensors 放入 "models/loras"
  • SD1.5 检查点:可使用您喜欢的 SD1.5 检查点,我使用的是 Realistic Vision

通过 ComfyUI 管理器下载:

  • control_v11p_sd15_openpose.safetensors
  • control_v11f1p_sd15_depth_fp16.safetensors

自动下载:

  • MimicMotion
  • ReActor

此模型生成的图像

未找到图像。