Tik Tok Dance Workflow (Mimic Motion + Animate Diff)

다운로드 버전

v3.1은 VRAM이 16GB인 사용자를 위한 이 워크플로우의 사소한 업데이트입니다. 이 버전은 전체 춤 영상을 단일 워크플로우로 생성합니다.

v4.0은 VRAM 사용량을 12GB로 제한하기 위해 워크플로우를 5개의 부분으로 나누었습니다. 이를 통해 더 많은 사용자들이 이 워크플로우를 활용할 수 있기를 바랍니다.

ComfyUI 버전

이 워크플로우는 ComfyUI v0.21에서 테스트되었으며, 관리자에서 사용자 정의 노드를 설치할 때 패키지 충돌이 발생하지 않습니다: https://github.com/comfyanonymous/ComfyUI/releases/tag/v0.2.1

소개

이 워크플로우는 Mimic Motion을 사용하여 캐릭터의 움직임을 생성하고, animate diff를 사용하여 배경의 16프레임 순환 영상을 만듭니다. 그 후 Grounding Dino를 사용하여 캐릭터와 배경을 합성합니다. 카메라가 정지되어 있고 모든 움직임이 댄서에 의해 수행되는 드라이빙 영상과 함께 사용하는 것이 가장 적합합니다.

이 워크플로우의 목적은 두 모델의 장점을 활용하여 가능한 한 일관된 영상을 생성하는 것입니다.

제한사항

위의 영상을 시청하면, 댄서가 머리카락과 상호작용하는 부분이 제대로 애니메이션되지 않은 것을 알 수 있습니다. 이는 Mimic Motion이 Open Pose 정보를 입력으로 사용하기 때문입니다. 깊이 정보도 함께 사용된다면, 머리카락과의 상호작용이 정확하게 애니메이션될 것입니다.

노드

노드는 색상으로 구분됩니다:

• 빨간색: 이 모델은 다운로드하여 적절한 폴더에 배치해야 합니다. 다운로드 후 ComfyUI를 새로 고치고 올바른 모델이 선택되었는지 확인하세요.

• 녹색: 이 노드는 자동으로 다운로드되는 모델입니다.

• 파란색: 이는 사용자 입력으로, 원래 춤 동작이 담긴 영상 또는 프롬프트/설정입니다.

• 갈색: 이는 워크플로우의 작동 방식을 설명하는 주석입니다.

누락된 노드는 ComfyUI 관리자를 사용하여 설치하세요. 이 워크플로우에서 사용되는 사용자 정의 노드는 다음과 같습니다:

• ComfyUI Impact Pack

• ComfyUI's ControlNet Auxiliary Preprocessors

• ComfyUI Frame Interpolation

• AnimateDiff Evolved

• ComfyUI-VideoHelperSuite

• ReActor Node for ComfyUI

• rgthree's ComfyUI Nodes, ComfyUI Essentials

• ComfyUI-MimicMotionWrapper

• segment anything

• Comfyui lama remover

모델

일부 모델은 자동으로 다운로드되며, 일부는 ComfyUI 관리자를 통해 다운로드되고, 다른 일부는 수동으로 다운로드하여 해당 폴더에 배치해야 합니다.

• AnimateLCM: https://huggingface.co/wangfuyun/AnimateLCM AnimateLCM_sd15_t2v.ckpt를 "models/animatediff_models"에, AnimateLCM_sd15_t2v_lora.safetensors를 "models/loras"에 넣으세요.

• SD1.5 체크포인트: 생성하려는 영상 유형(실사/애니메이션)에 따라 선호하는 모델을 사용하세요. 저는 실사 생성을 목표로 Realistic Vision을 사용합니다.

• control_v11p_sd15_openpose.safetensors: ComfyUI 관리자를 통해 다운로드하세요.

• MimicMotion, Segment Anything, Grounding Dino, ReActor 모델은 자동으로 다운로드됩니다.

• insightface 설치에 문제가 있는 경우, 문제 해결 섹션의 지침을 따르세요: https://github.com/Gourieff/comfyui-reactor-node