Video Style Transfer (AnimateLCM, IPAdapter, Controlnet)

这是一个将照片风格迁移到视频的vid2vid工作流。

此工作流基于以下思路：/model/372584/ipivs-morph-img2vid-animatediff-lcm

所需模型

1. 您最喜欢的SD1.5检查点模型。放入 models/checkpoints 文件夹中。

2. ControlNet：control_v11p_sd15_lineart_fp16.safetensors。使用管理器安装，搜索“controlnet”。

3. AnimateLCM：https://huggingface.co/wangfuyun/AnimateLCM 下载 AnimateLCM_sd15_t2v_lora.safetensors 并放置到 models/loras 文件夹中；下载 AnimateLCM_sd15_t2v.ckpt 并放置到 models/animatediff_models 文件夹中。

4. IPAdapter 模型：我要求您安装的模型多于必需数量，以便在您更改某些选项时仍能正常工作。如果出现错误，您必须安装缺失的确切模型。

   • CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors 和 CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors。使用管理器安装，搜索“clip”。

   • ip-adapter_sd15.safetensors、ip-adapter_sd15_light.safetensors、ip-adapter_sd15_vit-G.safetensors、ip-adapter-plus_sd15.safetensors。使用管理器安装，搜索“ipadapter”。

如何使用工作流

1. 加载工作流，并使用管理器安装缺失的自定义节点。重启 ComfyUI。

2. 青色节点是您需要加载的模型；蓝色节点是您需要提供的用户输入。

3. 将您的视频加载到“加载视频”节点中。如果视频为横屏，请将 force_size 设置为 ?x512。为测试工作流，可将 frame_load_cap 设置为 32，以仅使用视频的前32帧；若要使用完整视频，请将 frame_load_cap 设置为 0。

4. 加载您希望从中迁移风格的4张图片。

5. 编辑 CreateFadeMaskAdvance 节点中的帧。您必须决定从哪一帧开始应用风格，到哪一帧结束应用风格。在您希望开始之前和结束之后的帧上，将遮罩设为 0.0；在开始和结束帧上设为 1.0。例如，若希望在第90至135帧之间应用风格，则需设置：89:(0.0), 90:(1.0), 135:(1.0), 136:(0.0)。

6. 根据需要输入提示词。

7. 根据您的视频调整 ControlNet。我使用线稿模式，因为我希望从艺术图像中迁移风格。