Wan 2.2 Fun 5B Inpainting - Seamless Image Morphing

zardozaizardozai
14
327
base model
v2.0v1.0

详情

下载文件

模型描述

🎬 引言

释放一种全新的AI创造力！此工作流利用 Wan 2.2 Fun 5B Inpainting 模型的专用能力，生成令人惊叹的无缝视频动画，实现一张图像向另一张图像的形态变换。

不再依赖文本提示驱动运动。在这里，您只需提供一张起始图像和一张结束图像。AI将智能分析两者，并生成两者之间的流畅过渡视频，理解内容并创造出自然、常带梦幻感的转化效果。非常适合制作迷人的循环动画、概念艺术演变，或 simply 将两个创意在视频中融为一体。

此工作流经过优化以提升可访问性，采用 GGUF 量化 技术，使这一强大模型能在消费级硬件上高效运行。

✨ 主要特性与亮点

  • 图像到图像形态变换：核心功能。输入起始与结束图像，让AI自动生成过渡视频。

  • GGUF 量化支持：通过 LoaderGGUF 和 ClipLoaderGGUF 节点驱动，使50亿参数模型无需顶级GPU即可运行。

  • 闪电式LoRA加速：集成4步LoRA，显著提升生成速度，远超标准采样方式。

  • 简洁直观的设置：工作流清晰划分为逻辑步骤：加载模型、上传图像、设置提示、生成。

  • 高品质输出：配置为高分辨率（944x944）和流畅帧率（24 FPS），由强大的 VHS_VideoCombine 节点打包为MP4文件。

🧩 工作原理（幕后魔法）

此工作流执行优雅高效：

  1. 加载模型（GGUF）：LoaderGGUF 节点加载量化后的 Wan2.2-Fun-5B-InP 模型，ClipLoaderGGUF 节点加载UMT5文本编码器，标准 VAELoader 节点加载Wan的VAE用于解码。

  2. 上传您的图像对：这是关键步骤。您需提供两个输入：

    • start_image： 动画的初始状态。

    • end_image： 您希望转换到的最终状态。

  3. 定义氛围（提示词）：虽然图像驱动运动，但文本提示有助于定义整个生成序列的风格与质量。内置的正向提示营造出“梦幻、Q风格”效果，负向提示则过滤常见伪影。

  4. 图像修复魔法（WanFunInpaintToVideo）：此专用节点是引擎。它接收您的两张图像，结合提示词进行编码，生成一个从起始图像平滑过渡至结束图像的潜在视频表示。

  5. 快速采样：预处理的潜在表示传递给 KSampler，利用4步闪电LoRA快速去噪，生成动画的最终帧。

  6. 解码与导出：VAE将潜在帧解码为图像，VHS_VideoCombine 节点无缝合成最终的高质量MP4视频文件。

⚙️ 操作说明与使用

前提条件：下载模型

您必须下载以下模型文件，并放置于您的 ComfyUI models 目录中。

必需模型：

  • Wan2.2-Fun-5B-InP-Q8_0.gguf → 放入 /models/unet/（或 /models/diffusion/）

  • umt5-xxl-encoder-q4_k_m.gguf → 放入 /models/clip/

  • wan_2.2_vae.safetensors → 放入 /models/vae/

用于4步闪电流程：

  • Wan2_2_5B_FastWanFullAttn_lora_rank_128_bf16.safetensors → 放入 /models/loras/（注意：当前工作流指向此模型，但注释中提及另一个官方LoRA。请确认您实际应使用哪一个。）

加载工作流

  1. 下载提供的 video_wan2_2_5B_fun_inpaint.json 文件。

  2. 在 ComfyUI 中，将该JSON文件拖拽至窗口，或点击“加载”按钮。

运行工作流

  1. 上传您的图像对：

    • 在左侧的 “LoadImage” 节点中，上传您的 start_image.png。

    • 在右侧的 “LoadImage” 节点中，上传您的 end_image.png。

    • 提示：为获得最佳效果，建议使用构图或主题相似的图像，以实现更连贯的形态转换。

  2. 设置提示词（可选但推荐）：

    • 修改 “CLIP Text Encode (Positive Prompt)” 节点中的文本，以影响整个生成视频的风格（例如：“水彩风格”、“赛博朋克”、“写实”）。

    • 负向提示已预填充，适用于一般使用。

  3. 排队生成！ 观察AI如何构想出一座连接您两幅图像的独特动画桥梁。

⚠️ 重要提示与建议

  • 图像引导：此模型的强项在于图像本身。文本提示仅起辅助风格作用，视频的核心叙事由您上传的两张图像之间的过渡决定。

  • 长度设置：WanFunInpaintToVideo 节点的 length 参数设为 121 帧。以 24 FPS 计算，将生成约 3.3秒 的视频。您可调整此参数以获得更短或更长的动画，但需注意VRAM限制。

  • 分辨率：工作流默认设置为 944x944。您可在 WanFunInpaintToVideo 节点中调整 width 和 height，但此操作将影响VRAM占用与性能。

  • 闪电LoRA：4步LoRA用于加速生成。如遇质量下降或希望尝试不同风格，可通过 LoraLoaderModelOnly 节点调整强度，或尝试节点说明中提及的官方 wan2.2_i2v_lightx2v_4steps_lora。

🎭 示例效果

起始图像：一朵闭合的花苞。
结束图像：同一朵花完全绽放。

提示词：“一朵花绽放的精美延时摄影，微距镜头，锐利对焦，电影级光影。”

（您可在此处嵌入由本工作流生成的短视频示例）

另一个创意：从草图开始，以完整渲染的艺术作品结束。

📁 下载与链接

结论

💎 结论

此工作流开启了一个迷人且尚未被充分探索的AI视频生成新领域。通过从“文本到视频”转向图像引导视频，它赋予您对动画起止点的精确与创意控制。GGUF的运用使这一强大创作能力惠及广大用户。

无论是艺术家、设计师，还是希望创造独特、无缝过渡与视觉叙事的人，这都是理想之选。尝试不同的图像对与提示词，发掘这个“Fun”模型的无限潜能。

我们迫不及待想看到您的形态转换作品！欢迎在下方评论区分享您的创作！

此模型生成的图像

未找到图像。