Tik Tok Dance Workflow (Animate LCM, IPAdapter, Controlnet)

서론

이 워크플로우는 AI 아바타의 동작을 실제 춤 동영상으로 제어하여 AI 틱톡 댄스 영상을 생성하는 데 사용됩니다.

v7은 Depthflow 및 RyanOnTheInside 노드를 사용하는 오디오 반응 배경을 포함합니다.

필요한 모델

필요한 모델은 워크플로우의 빨간색 노드이며, 설명은 워크플로우의 노란색 노트(갈색 노드)에 있습니다. ComfyUI Manager를 통해 설치하는 것을 권장합니다.

• SD1.5 LCM: /model/81458?modelVersionId=256668

• SDXL Lightning: /model/133005/juggernaut-xl?modelVersionId=920957

• AnimateLCM_sd15_t2v.ckpt (https://huggingface.co/wangfuyun/AnimateLCM)

• Manager를 사용하여 설치:

  • IPAdapter 모델: ip-adapter_sd15.safetensors, ip-adapter-plus_sd15.safetensors.

  • Clip-Vision: CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors 및 CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors.

  • AnimateDiff V3: v3_sd15_mm.ckpt, v3_sd15_adapter.ckpt.

  • xinsir/ControlNet++: 모든 기능을 갖춘 ControlNet (ProMax 모델).

  • control_v11f1p_sd15_depth.safetensors

  • depth_anything_v2_vitl.pth

필요한 사용자 정의 노드

Manager를 사용하여 누락된 사용자 정의 노드를 설치하세요.

• ComfyUI의 ControlNet 보조 전처리기

• ComfyUI 프레임 보간

• ComfyUI_IPAdapter_plus

• ComfyUI-Advanced-ControlNet

• AnimateDiff Evolved

• ComfyUI-VideoHelperSuite

• rgthree의 ComfyUI 노드

• ComfyUI Essentials

• KJNodes for ComfyUI

• Crystools

• ComfyUI-Inspyrenet-Rembg

• Depthflow 노드

• RyanOnTheInside