AnimateDiff Workflow: Animate with starting and ending image

详情

模型描述

基本演示,展示如何从一张起始图像动画过渡到另一张图像。将它们串联起来以实现关键帧动画。

节点说明:

潜空间关键帧插值:

  • 我们为起始图像和结束图像各设置一个。

  • 起始图像从第0帧开始,在帧总数大约一半时结束。这由 batch_index_from 和 batch_index_to_excl 字段控制。

  • 起始图像的强度从 1.0 逐渐降至 0.2,这表示脚本开始时强烈使用起始图像,但随着帧数推进,其影响逐渐减弱。这由 strength_from 和 strength_to 控制。

  • 插值描述了强度如何快速接近 strength_to。

  • 结束图像的参数与此相反:我们希望开始时对图像的引用较弱,然后逐渐增强到最终完全使用。

加载 ControlNet 模型(高级):

  • 我们在此使用“平铺”模型,因为我们希望直接使用图像本身。

  • 将潜空间关键帧插值通过时间帧关键帧节点输入,可以控制 ControlNet 在各帧中的应用强度。

应用 ControlNet(高级):

  • 我们将强度保持为 1.0,因为实际强度是通过“加载 ControlNet 模型”节点控制的。同样,起始/结束百分比保持默认值 0.0 和 1.0。

Animate Diff 模块加载器:

  • 请确保此处使用的模型与你的检查点匹配。我正在使用 SD v1.5 检查点模型,因此我选用适用于 SD v1.5 的运动模型。如果你使用的是 SDXL,则必须使用另一个模型。

Animate Diff 采样器:

  • frame_number —— 此参数告诉脚本应生成多少帧。首次测试时请保留为 16。超过 16 会进入连续动画模式。根据你的机器性能,你可能需要调整 sliding_window_opts。参见:ArtVentureX/comfyui-animatediff: AnimateDiff for ComfyUI (github.com)

  • denoise —— 保持为 1.0。虽然我们使用 ControlNet 的平铺功能输入参考图像,但我们传递的是一个空的潜空间图像。

  • 其余参数可根据你的生成偏好自行设置。

Animate Diff 合并:

  • 帧率 —— 我发现 12 最合适,但你可以根据需要调整,以获得更流畅或更卡顿的效果。

  • 格式 —— video/h264-mp4 是 civit.ai 上传所接受的格式。

此模型生成的图像

未找到图像。