AnimateDiff LCM Workflow - Img2Vid with SparseNet

详情

模型描述

SparseCtrl 动画 ComfyUI 工作流指南

AnimateDiff LCM 动画工作流 专为在低显存环境下轻松实现细腻动画而设计。该工作流整合了多种模型、ControlNet 和自定义节点,利用 Stable Diffusion 提供精细、高质量的动画效果。

入门:初始设置与下载

要复现此设置,您需要若干模型文件和自定义节点。以下是入门所需列表:

  1. 推荐的检查点AniVerse - V5.0IMPPerfectDeliberatePhotonLCM 等高质量 Stable Diffusion 检查点。

  2. AnimateDiff 运动模型与 LoRA由 wangfuyun 开发的 AnimateLCM —— 包含运动模型和 LoRA,用于实现流畅的逐帧动画。

  3. 高级 ControlNet由 Kosinkadink 开发的 Advanced ControlNet —— 提供调度、遮罩功能及滑动上下文支持,实现更精细的动画控制。

  4. SparseCtrl ControlNetSparseCtrl —— 提供稀疏控制,实现精准的运动引导。

  5. QRcode Monster ControlNetQRcode Monster —— 负责实现形态变化动画。

  6. Clip Vision 模型Clip Vision 对增强图像条件至关重要。

  7. 超分模型4x NMKD Siax 超分器 —— 用于最终超分步骤,确保您的动画清晰锐利、质量上乘。

提示:请确保将这些模型放置在 ComfyUI 的对应目录中(例如:./models/checkpoints./models/controlnets./models/upscalers)。

创建动画的输入步骤

配置初始设置

  • 检查点:选择您的 Stable Diffusion 检查点,例如 AniVerse V5.0

  • 必需 LoRA:AnimateLCM_sd15_t2v_lora,强度设为 0.5 - 1.0

  • 可选 LoRA:可添加其他 LoRA 模型以增强特定特征。

  • VAE、种子、提示词:设置 VAE 以确保图像质量,选择种子以保证一致性

  • 其他控制模型:选择 CLIP Vision 和 SAM 模型,用于 detailer 节点的额外条件控制和分割!

撰写提示词

  • 简洁为佳。您可以使用提示词过渡在特定动画帧中更改提示内容。

准备输入图像

  • 调整尺寸与裁剪:上传一张作为动画基础的输入图像。调整其尺寸以确保与 IPAdapter 和 SparseCtrl ControlNet 兼容。

  • 质量检查:优化图像尺寸有助于 IPAdapter 和 SparseCtrl 更有效地处理图像,从而生成更流畅的动画。

    (提示:使用右键“队列组输出节点(rgthree)”在启动完整工作流前预览图像的缩放与裁剪效果。)

  • AnimateDiff 配置

    • AnimateDiff 模型:加载 AnimateDiff LCM 模型,该模型专为无缝运动而设计。

    • 设置调度器与循环:使用 beta 调度器控制帧间变化,并启用循环以实现连续动画。(模型在 context_length=16 与 context_overlap=4 下训练,可调整,但结果可能不同)。选择是否启用闭合循环(closed_loop)。

  • ControlNet 配置

    • 调整 ControlNet 强度:SparseCtrl 和 QRcode Monster ControlNet 在默认设置下表现良好,但调整强度可微调动画运动。

    • 可选自定义:为更深入影响动画风格,可尝试调整 ControlNet 参数以匹配您的预期效果。


提升动画质量的处理步骤

  1. 初步粗略采样

    • 此步骤生成一个初步动画,以确立运动趋势,尽管初始可能略显卡顿。该步骤为后续精细处理提供基础。
  2. 潜在空间超分与重采样(高分辨率修复)

    • 应用高分辨率修复以提升图像质量。该潜在空间超分可减少伪影并增强清晰度,特别适用于低显存环境生成的动画。
  3. 面部与眼部细节增强

    • 使用面部与眼部细节增强节点,减少近景动画中的常见伪影。此可选步骤可使面部细节更平滑、自然。

    • 若显存受限,可跳过此步骤以提高处理速度。

  4. 最终超分与插值至 30 FPS

    • 最终超分步骤使用 4x NMKD Siax 超分器 模型提升分辨率。

    • 30 FPS 插值:此最终步骤通过插值帧来平滑运动,生成流畅、精准的 30 帧/秒动画。


提示与建议

  • 尝试不同设置:调整检查点模型、图像尺寸、ControlNet 强度及 IPAdapter 配置等参数,可显著影响动画质量。

  • 应对显存限制:即使在低显存系统上,此工作流也能良好运行。若遇到内存问题,可尝试简化流程,例如跳过面部细节增强步骤或降低图像分辨率。

  • 自定义节点:本设置使用了 ComfyUI 管理器中的多个自定义节点,包括 MTB、Efficiency、AnimateDiff、RIFE 和 Face Detailer。请确保所有自定义节点均已安装并保持最新。

最后说明

本 SparseCtrl 动画工作流提供了一种直观的方法,结合强大的运动、质量与细节工具,轻松创建富有表现力的动画。若您刚接触 Stable Diffusion 动画,本指南将是您理想的起点。

欢迎尽情尝试,也欢迎分享反馈或提出问题。

欢迎在此页面发布图片,以激发社区活力 ⚡⚡⚡😊

此模型生成的图像

未找到图像。