Animatediff Simple Prompt Traveling

详情

下载文件

模型描述

如何使用

调整提示词,生成。

描述

这是老技术了。AnimateDiff 是最早为离线需求设计的视频 AI 解决方案之一,而这是它最基础的工作流,也是其他 AnimateDiff 工作流的基础。

本工作流专注于使用 AnimateDiff 实现提示词的过渡。你可以为不同的关键帧设置不同的提示词,视频中这些提示词会相互渐变。

目前有两种工作流可供选择:一种适用于 AnimateDiff 2 和 3,另一种适用于 AnimateLCM(基于 AnimateDiff 2)。

AnimateDiff 与 Stable Diffusion 1.5 一同使用时,训练尺寸为 512 像素,因此不建议将生成尺寸设置得过高,否则结果会不一致。你可以尝试在生成后进行上采样。

两种工作流均包含上采样功能,但我建议使用单独的工作流进行上采样,通过第二个 Ksampler 实现。请参阅以下文章:

https://www.tomgoodnoise.de/index.php/video-upscaling-in-comfyui/

时间

在配备 16GB 显存的 4060 TI 上,一个时长 6 秒、分辨率为 1280 x 720(使用 AI 简单上采样)的示例耗时约两分半钟。不过,这并非最佳的上采样方法。

要求

这些工作流最初是在 8GB 显存环境下创建的,但我曾多次遇到显存溢出(OOM)问题。若你希望实现高质量的上采样,强烈建议使用至少 12GB 显存的显卡。

此模型生成的图像

未找到图像。