AutoMask IPA Img/Vid-2-Vid LCM AnimateDiff Workflow for ComfyUI

此工作流程可将输入图像或视频中的多达 8 个不同元素分割为彩色遮罩，供 IPA 对每个元素进行风格化和动画处理。

首先，使用中间的开关选择您的源输入模式：1 为图像模式，2 为视频模式。

每个彩色图层顶部都有一个 GDINO-SAM 节点和一个提示输入框，用于指定您希望从输入中分离的元素。黑色组代表背景及未被遮罩的区域。提示框中已预填了一些基本示例，但您可以根据您的输入内容自定义为任何目标，例如物体、风景元素，甚至颜色。

您可以在提示框下方调整阈值，以控制其分离关键词的强度。阈值越低，分离越弱，遮罩容易溢出到其他区域；阈值过高，则可能完全不生成遮罩。推荐设置在 0.30 左右。

在“GrowMaskWithBlur”节点中，您可以通过扩展和模糊半径设置自定义遮罩。

您还需要为每个使用的彩色遮罩组加载图像到“Load Image For IPA”节点中。这些图像将用于为您的遮罩进行风格化处理。

在“IPAdapter Advanced”节点中调整“权重”可增强图像对遮罩的风格化程度；“weight_type”选项也会影响效果。“Ease In-Out”和“Linear”是值得尝试的选项。

黑色遮罩将对所有未被遮罩的部分进行风格化，并在选择“源输入背景模式”时生成背景遮罩。彩色遮罩会合并在一起，仅用于视觉预览或编辑目的。如无需保存，可禁用其“保存输出”选项。为节省 VRAM，建议将黑色遮罩设为场景中最靠后、最后渲染的元素，例如天空。

彩色遮罩的堆叠顺序为：远（白色）到近（黄色）。若自定义堆叠顺序，请根据场景元素的远近调整颜色顺序。

未使用的彩色遮罩层应通过“Fast Groups Bypasser”节点跳过。您还可以跳过“Input Gen & ControlNet”，以便在进入 KSampler 之前精细调整遮罩。

ControlNet 权重可调节 IPA 风格化的精细程度。较低的 CN 权重会使遮罩更具自由度，减少保留源输入边缘，导致遮罩溢出；较高的 CN 权重会保留更多源输入结构，但风格化质量可能下降。

此外，还有一个分辨率切换选项，可快速更改宽高比，您也可以自定义分辨率。

2024 年 5 月 24 日更新至版本 4，新增了“背景模式”。此模式允许您在使用源输入作为背景的同时风格化遮罩，而非由 IPA 风格化背景遮罩。

本工作流程需要“Segmenty Anything SAM 模型（ViT-H）”。获取方式：进入管理器 > 安装模型 > 搜索“sam” > 安装：sam_vit_h_4b8939.pth

本工作流程默认为 LCM 模式。您可浏览 CivitAI，选择您喜欢的 LCM 检查点。我推荐 PhotonLCM 和 DelusionsLCM。您也可以直接使用任何 1.5 检查点，并在“Efficient Loader”左侧的“LoRA 堆叠器”中启用 LCM LoRA。

并在此下载 LCM AnimateDiff 模型：https://huggingface.co/wangfuyun/AnimateLCM/blob/main/AnimateLCM_sd15_t2v.ckpt（安装至：“ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models”）

我还非常喜欢使用 PxlPshr 开发的 Shatter LCM AnimateDiff 运动 LoRA，您可在 CivitAI 上找到它。

感谢 @matt3o 提供出色的 IPA 更新，以及所有为社区和我们所用工具做出贡献的人。特别感谢 @Purz，我从您身上学到了很多，本工作流程也深受您的启发；感谢 @AndyXR 的测试支持。

如果您喜欢我的作品，可通过以下链接访问我的频道：https://linktr.ee/artontap