LTXV - Animating images that typically don't yield good results
详情
下载文件
模型描述
在本教程中，我们将学习如何使用 LTXV 动画化图像，特别是那些最初效果不佳的图像。
所使用的流程是对以下流程的自定义修改：
https://github.com/sandner-art/ai-research/blob/main/LTXV-Video/ltxvideo_I2V-motionfix.json
此方法受到 VoidVisionary 提出的使用模糊效果提升结果的启发：
该压缩包包含：流程文件、一张未加模糊的蒙娜丽莎.png 图像、一张加了模糊的蒙娜丽莎.png 图像，以及一个包含编辑内容的 .psd 文件。
此流程整合了由 SpacePXL 创建的经过修改的 VAE，你可在以下地址找到：
https://huggingface.co/spacepxl/ltx-video-0.9-vae-finetune/tree/main
在此，我使用的是 ltx-video-v0.9-vae_finetune_all.safetensors，应将其放置在 ComfyUI 的 models/VAE 文件夹中。
用于 LTX 的模型为 ltx-video-2b-v.0.9.1.safetensors，应放置在 ComfyUI 的 models/checkpoints 文件夹中：
https://huggingface.co/Lightricks/LTX-Video/tree/main
使用的文本编码器为 t5-v1_1-xxl-encoder-Q6_K.gguf：
https://huggingface.co/city96/t5-v1_1-xxl-encoder-gguf/tree/main，应将其放置在 ComfyUI 的 models/clip 文件夹中。
此流程使用了以下自定义节点：
一切设置完成后，我们将加载蒙娜丽莎的初始图像。若直接使用（不加模糊）并渲染，将得到非常有限的动画效果。为了增强动画效果，我们只需使用图像编辑器，选中面部，复制并粘贴到另一图层，然后施加轻微的水平运动模糊。我已提供一个 Photoshop 文件，其中面部已被转换为智能对象，并应用了 12 像素的水平运动模糊。我还附上了已模糊处理的蒙娜丽莎图像。
现在，若我们将修改后的图像复制并粘贴到 ComfyUI 中，将看到更加平滑和自然的动画效果。
此技术可应用于几乎所有图像，鼓励进行实验。