WAN VACE 2.2 | Perfect for IG/TIKTOK | V2V

详情

模型描述

指南

这是我的 V2V WAN 2.2 + VACE 工作流的第 2 版。以下是其高层次的工作原理:

  1. 上传主体参考图(节点名称:⭐️ 加载主体参考图像)

  2. 上传视频参考(节点名称:⭐️ 媒体选择(参考视频))

  3. 输入提示词

    1. 在 WanVideo TextEncode 中手动输入(默认)

    2. 使用 SwissArmyKnife LLM 节点

      1. 若通过 LLM Studio 使用 Qwen3-VL(本地部署模型),需要额外配置

      2. 若使用 Gemini API,需要 API 密钥

  4. 运行工作流

注意事项

主体/角色

  • 使用高质量的主体参考图像

    • 根据我的测试,特写效果最佳

    • 主体参考图的背景会轻微影响视频输出

      • 我尚未找到一种能完美遮罩主体且兼容 WAN VACE 的方法
    • 由于 VACE 的特性及种子等其他变量,主体的身份无法完全保留

      • 若需一致性,最佳方案是使用主体/角色 LoRA
  • 若生成的视频过于“闪亮”,可降低 Fun Reward LoRA 的强度

LoRA 补充

  • 可添加更多 LoRA 来微调生成视频,但避免添加过多,否则 LoRA 之间会互相冲突,导致生成结果出现“烧毁”现象

提示词撰写

  1. 主体:清晰描述主要主体——它是谁或什么,正在做什么,以及其外观特征

  2. 服装:聚焦主体所穿衣物,或服装如何贡献于情绪、纹理、色彩或叙事。考虑面料、配饰、时代、合身度的描述

  3. 运动:详述主体如何运动、摄像机如何移动,或场景中的任何动态元素。适当使用电影化语言

  4. 场景:定义环境——一天中的时间、地点、背景/前景元素、氛围、构图和光线

  5. 视觉风格:确立整体观感——光照、调色、镜头效果、胶片质感、写实与风格化程度,以及任何不希望出现的元素(负向提示感知)

我已在压缩包中的 Markdown 文件中添加了提示词示例

NSFW 内容

如拥有合适的 NSFW LoRA 和优质提示词,本流程支持生成 NSFW 内容。我尚未发现高质量的 NSFW LoRA,因此未包含在内

与 V1 版本的主要变化

  • 增加了主体参考图像上传功能

  • 修复了与 SwissArmyKnife 自定义节点的节点不匹配问题

  • 从 Gemini 切换至 Qwen3 VL(本地运行并通过 Swiss Army Knife 节点暴露)

  • 增加了直接输入提示词的路径,不再依赖 SwissArmyKnife LLM 节点

  • 重做并简化了 VACE 编码节点,现在仅使用主体参考图和深度图

路线图

  • 找出如何遮罩角色,以更好保留主体身份,并减少参考图像背景对生成视频的影响

  • 需要更好的放大与插值解决方案

  • 探索 VACE 的首帧与末帧功能,以生成更长视频

  • 调整 NSFW LoRA 的参数设置

模型链接

所有模型均可在 Huggingface 找到。我使用的是配备 24GB 显存的 NVIDIA 3090TI 和 128GB DDR4 内存。FP8_e5m2 格式在 3000 系列显卡上表现最佳。在我的系统中,生成耗时约 300-500 秒。

扩散模型

文本编码器

VAE

LoRAs

模型存储位置

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   ├── Wan2_2-T2V-A14B-HIGH_fp8_e5m2_scaled_KJ.safetensors
│   │   ├── Wan2_2-T2V-A14B-LOW_fp8_e5m2_scaled_KJ.safetensors
│   │   ├── Wan2_2_Fun_VACE_module_A14B_HIGH_fp8_e5m2_scaled_KJ.safetensors
│   │   └── Wan2_2_Fun_VACE_module_A14B_LOW_fp8_e5m2_scaled_KJ.safetensors
│   ├── 📂 vae/
│   │   └── Wan2.1_VAE.safetensors
│   ├── 📂 text_encoders/
│   │   └── umt5_xxl_fp16.safetensors
│   └── 📂 loras/
│       ├── Wan22_A14B_T2V_LOW_Lightning_4steps_lora_250928_rank64_fp16.safetensors
│       ├── Wan2.2-Fun-A14B-InP-HIGH-MPS_resized_dynamic_avg_rank_21_bf16.safetensors
│       ├── Wan2.2-Fun-A14B-InP-LOW-MPS_resized_dynamic_avg_rank_22_bf16.safetensors
│       ├── Instagirlv2.5-HIGH.safetensors
│       └── Instagirlv2.5-LOW.safetensors

自定义节点

ComfyUI-WanVideoWrapper - 每日构建版

comfyui_controlnet_aux - v1.1.2

ComfyUI-Easy-Use - v1.3.4

ComfyUI-KJNodes - v1.1.7

ComfyUI-VideoHelperSuite - v1.7.7

ComfyUI-Frame-Interpolation - v.1.0.7

ComfyUI Video Depth Anything - 每日构建版

CRT-Nodes - v1.8.2

Swiss Army Knife - v2.9.1

ComfyUI

ComfyUI - v0.3.65

ComfyUI_frontend - v1.27.10

Python - v3.12.3

Pytorch - 2.9.0+cu128

此模型生成的图像

未找到图像。