AnimateDiff LCM Workflow - Img2Vid with SparseNet
详情
下载文件
关于此版本
模型描述
SparseCtrl 动画 ComfyUI 工作流指南
本 AnimateDiff LCM 动画工作流 专为在低显存环境下轻松实现细腻动画而设计。该工作流整合了多种模型、ControlNet 和自定义节点,利用 Stable Diffusion 提供精细、高质量的动画效果。
入门:初始设置与下载
要复现此设置,您需要若干模型文件和自定义节点。以下是入门所需列表:
推荐的检查点:AniVerse - V5.0、IMP、PerfectDeliberate 和 PhotonLCM 等高质量 Stable Diffusion 检查点。
AnimateDiff 运动模型与 LoRA:由 wangfuyun 开发的 AnimateLCM —— 包含运动模型和 LoRA,用于实现流畅的逐帧动画。
高级 ControlNet:由 Kosinkadink 开发的 Advanced ControlNet —— 提供调度、遮罩功能及滑动上下文支持,实现更精细的动画控制。
SparseCtrl ControlNet:SparseCtrl —— 提供稀疏控制,实现精准的运动引导。
QRcode Monster ControlNet:QRcode Monster —— 负责实现形态变化动画。
Clip Vision 模型:Clip Vision 对增强图像条件至关重要。
超分模型:4x NMKD Siax 超分器 —— 用于最终超分步骤,确保您的动画清晰锐利、质量上乘。
提示:请确保将这些模型放置在 ComfyUI 的对应目录中(例如:./models/checkpoints、./models/controlnets、./models/upscalers)。
创建动画的输入步骤
配置初始设置:
检查点:选择您的 Stable Diffusion 检查点,例如 AniVerse V5.0。
必需 LoRA:AnimateLCM_sd15_t2v_lora,强度设为 0.5 - 1.0
可选 LoRA:可添加其他 LoRA 模型以增强特定特征。
VAE、种子、提示词:设置 VAE 以确保图像质量,选择种子以保证一致性
撰写提示词:
简洁为佳。您可以使用提示词过渡在特定动画帧中更改提示内容。

准备输入图像:
调整尺寸与裁剪:上传一张作为动画基础的输入图像。调整其尺寸以确保与 IPAdapter 和 SparseCtrl ControlNet 兼容。
质量检查:优化图像尺寸有助于 IPAdapter 和 SparseCtrl 更有效地处理图像,从而生成更流畅的动画。
(提示:使用右键“队列组输出节点(rgthree)”在启动完整工作流前预览图像的缩放与裁剪效果。)AnimateDiff 配置:
AnimateDiff 模型:加载 AnimateDiff LCM 模型,该模型专为无缝运动而设计。
设置调度器与循环:使用 beta 调度器控制帧间变化,并启用循环以实现连续动画。(模型在 context_length=16 与 context_overlap=4 下训练,可调整,但结果可能不同)。选择是否启用闭合循环(closed_loop)。

ControlNet 配置:
调整 ControlNet 强度:SparseCtrl 和 QRcode Monster ControlNet 在默认设置下表现良好,但调整强度可微调动画运动。
可选自定义:为更深入影响动画风格,可尝试调整 ControlNet 参数以匹配您的预期效果。

提升动画质量的处理步骤
初步粗略采样:
- 此步骤生成一个初步动画,以确立运动趋势,尽管初始可能略显卡顿。该步骤为后续精细处理提供基础。
潜在空间超分与重采样(高分辨率修复):
- 应用高分辨率修复以提升图像质量。该潜在空间超分可减少伪影并增强清晰度,特别适用于低显存环境生成的动画。
面部与眼部细节增强:
使用面部与眼部细节增强节点,减少近景动画中的常见伪影。此可选步骤可使面部细节更平滑、自然。
若显存受限,可跳过此步骤以提高处理速度。
最终超分与插值至 30 FPS:
最终超分步骤使用 4x NMKD Siax 超分器 模型提升分辨率。
30 FPS 插值:此最终步骤通过插值帧来平滑运动,生成流畅、精准的 30 帧/秒动画。
提示与建议
尝试不同设置:调整检查点模型、图像尺寸、ControlNet 强度及 IPAdapter 配置等参数,可显著影响动画质量。
应对显存限制:即使在低显存系统上,此工作流也能良好运行。若遇到内存问题,可尝试简化流程,例如跳过面部细节增强步骤或降低图像分辨率。
自定义节点:本设置使用了 ComfyUI 管理器中的多个自定义节点,包括 MTB、Efficiency、AnimateDiff、RIFE 和 Face Detailer。请确保所有自定义节点均已安装并保持最新。
最后说明
本 SparseCtrl 动画工作流提供了一种直观的方法,结合强大的运动、质量与细节工具,轻松创建富有表现力的动画。若您刚接触 Stable Diffusion 动画,本指南将是您理想的起点。
欢迎尽情尝试,也欢迎分享反馈或提出问题。
欢迎在此页面发布图片,以激发社区活力 ⚡⚡⚡😊
