Animatediff 3 vid2vid Openpose

如何使用

加载输入视频。调整提示词、尺寸和长度，然后生成。

描述

此工作流专门用于将视频转换为视频的提示词过渡流程，通过 Open Pose 从输入视频中提取人体动作。因此它具有非常特定的用途，并且与 AnimateDiff 3 兼容。您为不同关键帧选择不同的提示词，视频中这些提示词会相互过渡变形。

AnimateDiff 和 Stable Diffusion 1.5 一起使用时，其训练尺寸为 512 像素。因此，您最好不要将生成尺寸设置得过高，否则结果会不一致。您可以尝试在生成后进行上采样。

此工作流已包含上采样功能，但我建议使用单独的工作流进行上采样，通过第二个 Ksampler 实现。请参阅以下文章：

时间

在配备 16GB 显存的 4060 TI 上，一个时长为 6 秒、分辨率为 640×480 的示例大约耗时 25 分钟。生成时间较长的原因在于链中的第二个 Ksampler，您可以省略它，但它能提升一些质量。更高的上采样倍率将进一步增加耗时，因此此工作流并非速度最快的。

要求

这些工作流最初是在 8GB 显存环境下创建的，但我经常遇到显存溢出（OOM）问题。我强烈建议使用至少 12GB 显存的显卡。