RotoMaker - with Rotoscope tools
详情
下载文件
模型描述
RotoMaker V3 - 更新
新增一种工作流程,添加你的前景视频图层和背景视频图层,支持以比背景更低的循环次数重复主体,详细说明见视频 :D 通过此功能,我们可以创建完全动画化的场景。提供前景偏移选项。
(注:此版本基于 InsightFace 实现,该实现为研究/非商业许可证;现已出现新的开源实现,未来版本将利用此新实现)
V2
RotoMaker-Studio
- RotoMaker 的一体化版本
- 包含带 CNET 的专用 SDXL Trio txt2img 功能
- 请确保 30 FPS 以保持帧同步
[可选工具]
创建人脸模型
- 添加图像并保存你的人脸模型,供第二阶段使用
拆帧工具
- 将你的 Mimic Motion 驱动视频拆解为帧序列,用于 Trio CNET 和第一阶段
视频合并工具
- 按顺序添加分割的视频片段,合并为一个视频,用于第三阶段
[主工作流程]
0: TRIO
- 专用 SDXL CNET txt2img 工作流程
- 使用驱动视频中的帧
- 堆叠加载 LoRA 与 SDXL Hyper
- 白色背景的 Roto Matte 为 Mimic Motion 准备图像
1: 动画
- 使用白色背景的 Mimic Motion,通过驱动视频对图像进行动画化
- (PATH)加载器支持大视频文件
- 建议将驱动视频裁剪为 1:1,1024x1024 分辨率
- 自动抠像 / Matte
- 输出为 MP4、GIF 和 PNG 序列
2: 掩码人脸替换
- 加载所选片段(合并后的视频)
- 使用已加载的人脸模型,通过面部遮挡掩码进行人脸替换
- 自动抠像 / Matte
- 输出为 MP4、GIF 和 PNG 序列
初始发布视频说明:
RotoMaker 基于我之前的发布项目 Loki-LivePortrait、Loki-MimicMotion、Loki-FaceSwap 和 Roto Basic 定制而成,提供了一种分阶段将视频流程串联起来的方法。视频说明已提供。
请记住,你可以使用管理器菜单在不同工作流程之间卸载模型(节省内存)。
有关安装 LivePortrait 和 Mimic Motion 的更多信息,请参见:
/model/539936/loki-live-portrait-fastest-face-swap-batch-modes
请在每个工作流程中使用相同的项目名称
第一阶段:使用视频驱动和任意图像进行动画
第二阶段:使用人脸模型进行人脸替换视频
第三阶段:LivePortrait(仅静态图像)
第四阶段:将主体抠像为 GIF、MP4 和 PNG 序列
所有文件将自动归入以下结构:
例如:项目名称 = "rotoMaker-chain005"