WAN VACE Professional Video-to-Video Complete Workflow

详情

模型描述

🎬 使用 WAN VACE 实现专业级视频转视频转换

通过此专为 WAN VACE 设计的完整 ComfyUI 工作流,以专业水准转换您的视频。该全流程支持长视频的无缝视频转视频转换,具备高级功能,包括无缝拼接、超分辨率放大与帧插值。将长视频拆分为可管理的片段,分别处理后再无缝合并为连贯、高质量的输出视频。

✨ 核心功能

  • 长视频处理:将长视频拆分为片段,处理后无缝拼接
  • 完整 V2V 流程:完整的视频到视频转换工作流
  • 无缝视频拼接:专用节点实现无痕视频拼接,无可见过渡
  • 多步处理流程:生成 → 拼接 → 合并 → 放大 → 插值
  • 专业级画质:可自定义设置,输出高品质视频
  • 内存优化:支持多种 GPU 配置的低 VRAM 模式
  • 批量处理:高效处理多个视频片段
  • 可扩展架构:通过智能分段处理任意长度的视频

📋 所需文件

必需模型文件

🔴 WAN GGUF 模型

🟣 WAN VAE

🟣 WAN 文本编码器

必需自定义节点

⚠️ 重要:请从本页下载以下自定义节点(ComfyUI-Manager 中不可用):

  • seamless_join_video_clips.py
  • combine_video_clips.py
  • 放置路径:ComfyUI/custom_nodes/

ComfyUI 扩展

⚙️ 使用 ComfyUI-Manager 安装以下扩展:

  • ComfyUI-GGUF
  • ComfyUI-VideoHelperSuite
  • ComfyUI-KJNodes
  • ComfyUI-ControlNet-Aux
  • ComfyUI-Frame-Interpolation
  • ComfyUI-Easy-Use

📖 分步指南

初始设置

  1. 配置常量

    • 宽度/高度:576x1024(9:16 比例)或与源视频一致
    • 长度:每段 81 帧
    • 跳过帧数:初始设为 0
    • 文件名前缀:设置输出文件夹及前缀
  2. 加载源素材

    • 加载需重制的源视频
    • 加载参考图(确保姿态与视频第一帧相似)
    • 推荐使用 SDXL/FLUX + LoRA + ControlNet 实现最佳姿态匹配

步骤 1:生成 WAN 视频片段

  1. 编写提示词

    • 描述主体、服装与背景
    • 加入动态动作描述以获得更生动效果
  2. 生成视频片段

    • 点击运行,生成首个 81 帧片段
    • 将跳过帧数增加 81,处理下一段
    • 重复此过程直至覆盖整个源视频
    • 最后一段可能少于 81 帧,但画质可能略低
    • 对于长视频:持续此流程,直至完成全部时长

步骤 2:无缝拼接视频

  1. 配置拼接参数

    • 设置已生成视频的文件夹路径
    • 文件名前缀需与生成文件一致
    • 起始文件名后缀设为 1
    • 使用步骤 1 中的相同提示词
  2. 执行拼接流程

    • 运行拼接第一与第二段视频
    • 将文件名后缀加 1
    • 运行拼接第二与第三段
    • 重复直至所有片段拼接完成

步骤 3:合并、放大与插值

  1. 最终处理设置

    • 设置拼接后视频的文件夹路径
    • 保持文件名后缀为 1(固定不变)
    • 设置合并输出文件名
    • 设置放大输出文件名
  2. 执行最终流程

    • 合并所有拼接视频
    • 使用 RealESRGAN 放大(2 倍)
    • 使用 FILM VFI 插帧(2 倍帧率)

⚙️ 高级设置

低 VRAM 配置

  • 使用 UnetLoaderGGUFDisTorchMultiGPU 节点优化内存
  • virtual_vram_gb 设为 2.0–4.0(适用于 12GB 及以下 GPU)
  • 启用 use_other_vram 以启用额外内存备用

性能优化建议

  • 若无 Triton 支持,可跳过 PathchSageAttentionKJModelPatchTorchSettings
  • 根据 GPU 显存调整批次大小
  • 选择与硬件匹配的量化等级

🎯 最佳实践提示

  1. 长视频策略:规划分段方式——每段 81 帧可确保过渡平滑,同时控制处理规模
  2. 参考图质量:使用高质量参考图,姿态需贴近源视频第一帧
  3. 提示词设计:明确描述主体细节、服装与背景元素
  4. 分段规划:保持叙事连贯性,确保整段视频内容流畅
  5. 硬件适配:根据 GPU 能力调整设置——长视频建议优化 VRAM 配置
  6. 一致性维护:各段提示词保持一致,确保最终视频视觉统一

🩺 常见问题排查

  • 显存溢出(OOM):增加 virtual_vram_gb 或减小批次大小
  • 节点缺失:确保所有自定义节点已正确安装
  • 画质问题:检查参考图对齐与提示词具体性
  • 处理缓慢:尝试使用低量化模型以加快生成速度

🔧 自定义节点参数指南

WanVideoVaceSeamlessJoin 节点

此节点通过智能遮罩实现两个视频片段的无缝拼接,过渡自然。

参数:

  • mask_last_frames(INT):第一段视频末尾的遮罩帧数

    • 默认:0
    • 范围:0–20
    • 设为 0 不遮罩,5–10 用于柔和过渡
  • mask_first_frames(INT):第二段视频开头的遮罩帧数

    • 默认:10
    • 范围:0–20
    • 建议:10 帧以获得平滑衔接
  • frame_load_cap(INT):每段视频最大加载帧数

    • 默认:81
    • 范围:1–1000
    • 应与视频分段长度一致(通常为 81)
  • first_video_path(STRING):第一段视频完整路径

    • 格式:"C:\path\to\video1.mp4"
    • 建议使用绝对路径以确保稳定
  • second_video_path(STRING):第二段视频完整路径

    • 格式:"C:\path\to\video2.mp4"
    • 请确保文件存在且可访问

输出:

  • image:合并后的视频帧序列
  • mask:生成的过渡区域遮罩

CombineVideoClips 节点

此节点将多个视频片段合并为连续序列,支持高级遮罩选项。

参数:

  • frame_load_cap(INT):每段视频最大加载帧数

    • 默认:81
    • 范围:1–1000
    • 应与分段帧数一致
  • mask_last_frames(INT):每段视频末尾(除最后一段)的遮罩帧数

    • 默认:0
    • 范围:0–20
    • 0 为硬切,5–10 为淡入淡出
  • mask_first_frames(INT):每段视频开头(除第一段)的遮罩帧数

    • 默认:10
    • 范围:0–20
    • 建议:10 帧实现平滑过渡
  • first_video_path(STRING):序列中第一段视频路径

    • 基础视频,通常为原始生成片段
  • first_joined_video_path(STRING):第一次无缝拼接结果路径

    • 来自首次 WanVideoVaceSeamlessJoin 的输出
  • second_joined_video_path(STRING):第二次无缝拼接结果路径

    • 来自第二次 WanVideoVaceSeamlessJoin 的输出
  • third_joined_video_path(STRING):第三次无缝拼接结果路径

    • 依此类推,支持更多片段
  • fourth_joined_video_path(STRING):第四次无缝拼接结果路径

    • 可选,最多支持五段
  • fifth_joined_video_path(STRING):第五次无缝拼接结果路径

    • 可选,最大支持段数
  • last_video_path(STRING):序列中最后一段视频路径

    • 最终生成的视频片段

输出:

  • image:合并后的视频帧序列,准备进入最终处理

参数优化建议

无缝拼接

  • 短过渡mask_first_frames = 5, mask_last_frames = 0
  • 平滑混合mask_first_frames = 10, mask_last_frames = 5
  • 长淡入淡出mask_first_frames = 15, mask_last_frames = 10

文件路径

  • 确保所有视频文件在运行前已存在
  • 使用统一命名规范,便于批量处理

帧数设置

  • frame_load_cap 应与分段长度一致(通常为 81)
  • 数值过小可能导致长片段被截断

本工作流提供专业级视频转换能力,全面掌控从生成到最终输出的整条流程。

此模型生成的图像

未找到图像。