Singing Avatar (Live Portrait, Mimic Motion, AnimateLCM)
详情
下载文件
关于此版本
模型描述
此工作流使用 MimicMotion 驱动头部姿态的生成。背景被替换为静态图像,使用 ReActor 进行人脸替换,并在 AnimateLCM 通道上应用差分扩散来动画化背景并清理歌手形象。随后使用 Live Portrait 传输嘴唇和/或眼睛。
ComfyUI 版本
此工作流已在 ComfyUI v0.21 上测试,通过管理器安装自定义节点时不应出现包冲突:https://github.com/comfyanonymous/ComfyUI/releases/tag/v0.2.1
节点
红色节点为需要下载并在工作流中选择的模型。
蓝色节点为需要用户输入的节点。
建议使用 ComfyUI 管理器安装以下自定义节点。您需要遵循 ReActor 节点 GitHub 页面的说明安装 InsightFace(https://github.com/Gourieff/comfyui-reactor-node?tab=readme-ov-file#troubleshooting)
- ComfyUI 的 ControlNet 辅助预处理器
- ComfyUI 帧插值
- AnimateDiff Evolved
- ComfyUI-VideoHelperSuite
- ComfyUI 的 ReActor 节点
- ComfyUI Essentials
- KJNodes for ComfyUI
- ComfyUI-MimicMotionWrapper
- ComfyUI-LivePortraitKJ
- Crystools
模型
手动下载并放置于文件夹中:
- AnimateLCM:https://huggingface.co/wangfuyun/AnimateLCM 将 AnimateLCM_sd15_t2v.ckpt 放入 "models/animatediff_models",将 AnimateLCM_sd15_t2v_lora.safetensors 放入 "models/loras"
- SD1.5 检查点:可使用您喜欢的 SD1.5 检查点,我使用的是 Realistic Vision
通过 ComfyUI 管理器下载:
- control_v11p_sd15_openpose.safetensors
- control_v11f1p_sd15_depth_fp16.safetensors
自动下载:
- MimicMotion
- ReActor