Wan2.2 animate Change character or background (long video)

详情

下载文件

模型描述

此工作流程可以实现以下功能:它能让参考图像中的角色复制参考视频中的姿态(同时保留原始背景),也可以将该角色完全替换到参考视频中,使其执行相同的动作。基于这一思路,我还尝试了仅将角色的头部替换到参考视频中,但目前仍在调试结果中的一些问题。如果找到有效的解决方案,我也会发布该工作流程。有关使用方法的重要说明,请参见下方的“工作流程测试与使用说明”。

💻我已经为您设置好了在线 ➡️ 工作流程,您可以快速体验效果。

🎁额外福利:如果您是首次注册,通过我的链接和邀请码 ➡️ rh-v1182,即可获得 1000 枚免费 RH 币。此外,每日登录还可额外获得 100 RH 币

🚀工作流程测试与使用说明:

1. 首先,衷心感谢 eddy 开源了多个 Loras。当这些 Loras 与 KJ 的 Wan2.2 animate 工作流程结合使用时,在角色一致性和视频动作方面表现优异。特别需要注意的是,“lightx2v_elite_it2v_animate_face” 已内置了 lightx2v 加速功能,因此您无需再使用其他加速 Lora。此 Lora 有助于维持参考角色的一致性,我建议其强度值在 1.0 至 1.2 之间。若您希望高度匹配参考图像中的角色,建议将 “WAN22_MoCap_fullbodyCOPY ED” 的强度设为 0.35–0.5;若您更倾向于参考视频中的角色表现,则 0.7–1 的强度更佳。

2. 由于该流程需要加载 Wan2.2 模型和 SAMSegment,因此对显存要求较高。因此我默认启用了 WanVideo Block Swap 功能。在我的测试中,整个流程可在 24G 显存的 GPU 上运行。但为获得更流畅的体验,我建议使用 RunningHub 上的 48G GPU。

3. 针对不同类型的参考视频,我在工作流程中预设了两种不同的遮罩方法,您只需选择其一即可。若您的参考视频中仅有一个角色,请使用“单角色使用”组;若视频中有多个角色且您仅希望遮罩特定区域,请使用“多角色使用”组。

4. 此工作流程可生成比通常更长的视频,但我建议不要超过 30 秒。在我的测试中发现,对于 20 秒的视频,角色一致性在约 10 秒后开始下降,色彩色调也会略有偏移。我认为这是由于上下文循环过程中参考视频的影响所致。因此,我建议使用此工作流程生成的视频长度控制在 20 秒左右,最长不超过 30 秒。超过 30 秒可能导致不可预测的退化或一致性严重丧失。

5. 更详细的说明,请参见工作流程内的注释。

此模型生成的图像

未找到图像。