LOKI - Live Portrait w/ Video BG + Fastest Face Swap + Batch Modes

详情

模型描述

视频待定
V5 /Loki-Multiperson/ 新增功能/

  • Loki-Faceswap-Multi-2(适用于2人)

  • Loki-Faceswap-Multi-3(适用于3人)

使用替换的静态与视频背景的动态肖像。

V4 新增 - /Loki-combineLayers/

  • Loki-LivePortrait-StaticBG

  • Loki-LivePortrait-videoBG

(注意:此功能最初是为InsightFace实现构建的,该实现采用研究/非商业许可证;现已推出新的开源实现,未来版本将利用此新实现。)

LOKI - ComfyUI 中最快的面部替换工具

V27 更新 - 为LOKI套件添加了MimicMotion支持。
V12 更新 - 为LOKI套件添加了LivePortrait支持。
V8 发布 - 首次发布最快面部替换(一体化)工作流。

例如,您可以使用LOKI面部替换为您的角色创建面部模型,然后使用Trio-Tpose基于这些面部模型生成角色。我们还可以使用LivePortrait实现唇形同步动画,或使用MimicMotion实现角色姿态动画。

Mimic Motion 使用说明:

使用驱动视频,它将动画化图像中的头部/面部,并保存一个与源视频帧率一致且包含音频的视频。

  1. 使用说话人脸的视频
    (套件中已包含驱动视频)

  2. 使用您要动画化的角色图像
    (套件中已包含T-pose图像)

  3. 运行工作流将生成视频

  4. (可选)切换插值类型
    插值时请参考匹配帧率的说明

所需模型:

节点:(使用管理器)

https://github.com/kijai/ComfyUI-MimicMotionWrapper

模型:

https://huggingface.co/Kijai/MimicMotion_pruned/tree/main

- 将所有文件放入 /models/mimicmotion/ 目录

还需 Diffusers SVD XT

https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1/tree/main

- 将其放入 /models/diffusers/stable-video-diffusion-img2vid-xt-1-1/ 目录

- 将 "svd_xt_1_1.safetensors" 移动至 /models/diffusers/ 目录

所有说明详见视频 :)

Live Portrait 使用说明:

现在我们可以使用LOKI-LivePortrait,通过角色图像和您在手机、网络摄像头或其他设备上录制的视频聊天片段来动画化角色。

使用驱动视频,它将动画化图像中的头部/面部,并保存一个与源视频帧率一致且包含音频的视频。

  1. 使用说话人脸的视频
    (套件中已包含驱动视频)

  2. 使用您要动画化的角色图像
    (套件中已包含T-pose图像)

  3. 运行工作流将生成视频

所需模型:
https://huggingface.co/Kijai/LivePortrait_safetensors/tree/main
从链接下载所有模型,并如上所示放入 /models/liveportrait 目录。完整说明与演示请参见Loki LivePortrait视频。

以上所有:V12-LivePortrait 工作流
以下所有:V8-FaceSwap 工作流

所有所需节点和模型均可通过启动器获取,或在视频描述中找到,例如首次设置SUPIR超分辨率。

跳转至文章:https://civitai.com/articles/5915

注意:SUPIR 不用于批量模式的超分辨率,否则耗时极长!您可以在最终合成后,以常规方式对视频进行超分辨率实验。

此模型生成的图像

未找到图像。