ComfyUI beginner friendly WAN 2.2 Image-to-Video with Audio GGUF Workflow by SarcasticTOFU

详情

模型描述

这是一个非常简单、适合初学者的 ComfyUI 图像转视频工作流,适用于单张输入图像搭配匹配的音频片段,使用单一的 WAN 2.2 S2V GGUF 模型(一种用于将音频片段编码为视频的更新版 WAN 2.2 模型)。该工作流简单且快速,因此可在相对廉价的 GPU(12GB / 16GB 的 Nvidia 或 Radeon 显卡,或部分性价比更高的 Apple Silicon Mac)上高效运行 WAN 2.2。(建议安装 ComfyUI Manager 和 LORA Manager 插件,以便轻松下载和管理检查点、LORA 及其他资源。这两个插件不仅对本工作流有帮助,在其他任何情况下也会极大提升你的效率。)你需要一个 Hugging Face 账户来下载必要的 WAN 2.2 S2V 文件(详情见下文)。请确保通过 ComfyUI Manager 安装 GGUF 插件,并将正确的文件放置在正确的位置。此外,也可以查看我其他针对 SD 1.5 + SDXL 1.0、WAN 2.1、WAN 2.2 全能版、Chroma、QWEN、HiDream 和 Flux 的工作流。

使用方法如下:

#1. 首先选择你所需的 WAN 2.2 S2V GGUF 模型及其他必要模型

#2. 然后选择用于图像转视频生成的输入图像及匹配的音频片段

#3. 接着输入你的正向提示词和负向提示词

#4. 选择批次设置(请参考本节中的说明)并设定要生成的视频数量(更改“运行”按钮旁的数字)

#5. 最后点击运行按钮开始生成。完成。

*** 如果你使用的是通过 Stability Matrix 管理的 ComfyUI,请确保将音频编码器下载并放置在 ComfyUI 包的 models 子文件夹内,而不是 Stability Matrix 的通用模型文件夹中。正确路径应为:<你的 Stability Matrix 数据文件夹>/Packages/ComfyUI/models/audio_encoders,而非 <你的 Stability Matrix 数据文件夹>/Models/audio_encoders(后者是用于在 ComfyUI、WebUI Forge、SD.Next 等多个通过 Stability Matrix 安装和管理的工具间共享的通用模型子文件夹)。若未正确放置,本工作流将无法运行。

祝你使用愉快!

要使用此工作流,你需要登录 Hugging Face 并从其下载必要文件(我还附带了一个包含工作流文件的文本文件,其中提供了更多关于我其他工作流所需关键下载的链接):

WAN 2.2 模型

===============================================================================================================

WAN 2.2 S2V 检查点下载链接

https://huggingface.co/QuantStack/Wan2.2-S2V-14B-GGUF/resolve/main/Wan2.2-S2V-14B-Q2_K.gguf

WAN 2.2 编码器下载链接

https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/blob/main/split_files/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

WAN 2.1 VAE 下载链接(WAN 2.2 S2V 模型使用 WAN 2.1 VAE)

https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/vae/wan_2.1_vae.safetensors

WAN 2.2 图像转视频 Lightning Lora(用于 S2V)下载链接

https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/resolve/main/split_files/loras/wan2.2_t2v_lightx2v_4steps_lora_v1.1_high_noise.safetensors

WAN 2.2 图像转视频音频编码器(用于 S2V)下载链接

https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/resolve/main/split_files/audio_encoders/wav2vec2_large_english_fp16.safetensors

此模型生成的图像

未找到图像。