RotoMaker - with Rotoscope tools

详情

下载文件

模型描述

RotoMaker V3 - 更新

新增一种工作流程,添加你的前景视频图层和背景视频图层,支持以比背景更低的循环次数重复主体,详细说明见视频 :D 通过此功能,我们可以创建完全动画化的场景。提供前景偏移选项。

(注:此版本基于 InsightFace 实现,该实现为研究/非商业许可证;现已出现新的开源实现,未来版本将利用此新实现)

V2

RotoMaker-Studio

- RotoMaker 的一体化版本

- 包含带 CNET 的专用 SDXL Trio txt2img 功能

- 请确保 30 FPS 以保持帧同步

[可选工具]

创建人脸模型

- 添加图像并保存你的人脸模型,供第二阶段使用

拆帧工具

- 将你的 Mimic Motion 驱动视频拆解为帧序列,用于 Trio CNET 和第一阶段

视频合并工具

- 按顺序添加分割的视频片段,合并为一个视频,用于第三阶段

[主工作流程]

0: TRIO

- 专用 SDXL CNET txt2img 工作流程

- 使用驱动视频中的帧

- 堆叠加载 LoRA 与 SDXL Hyper

- 白色背景的 Roto Matte 为 Mimic Motion 准备图像

1: 动画

- 使用白色背景的 Mimic Motion,通过驱动视频对图像进行动画化

- (PATH)加载器支持大视频文件

- 建议将驱动视频裁剪为 1:1,1024x1024 分辨率

- 自动抠像 / Matte

- 输出为 MP4、GIF 和 PNG 序列

2: 掩码人脸替换

- 加载所选片段(合并后的视频)

- 使用已加载的人脸模型,通过面部遮挡掩码进行人脸替换

- 自动抠像 / Matte

- 输出为 MP4、GIF 和 PNG 序列

初始发布视频说明:

RotoMaker 基于我之前的发布项目 Loki-LivePortrait、Loki-MimicMotion、Loki-FaceSwap 和 Roto Basic 定制而成,提供了一种分阶段将视频流程串联起来的方法。视频说明已提供。

请记住,你可以使用管理器菜单在不同工作流程之间卸载模型(节省内存)。

有关安装 LivePortrait 和 Mimic Motion 的更多信息,请参见:
/model/539936/loki-live-portrait-fastest-face-swap-batch-modes

请在每个工作流程中使用相同的项目名称

第一阶段:使用视频驱动和任意图像进行动画
第二阶段:使用人脸模型进行人脸替换视频
第三阶段:LivePortrait(仅静态图像)
第四阶段:将主体抠像为 GIF、MP4 和 PNG 序列

所有文件将自动归入以下结构:
例如:项目名称 = "rotoMaker-chain005"

此模型生成的图像

未找到图像。