Tik Tok Dance Workflow (Solid Colour Background)

소개

이 워크플로우는 사용자의 요청을 기반으로 생성되었습니다. 사용자들로부터 제 워크플로우인 Mimic Motion의 버전을 요청받았는데, 이 버전은 사용자가 이미지(사진, SDXL 또는 Flux에서 가져온)를 입력하면, 댄싱 동영상이 단일 색상 배경 위에 생성되어 어떤 비디오 편집 소프트웨어에도 가져올 수 있도록 하는 기능을 포함합니다.

이 워크플로우는 Mimic Motion을 사용하여 캐릭터의 동작을 생성하고, Grounding Dino를 사용하여 캐릭터를 단일 색상 배경 위에 합성합니다.

ComfyUI 버전

이 워크플로우는 ComfyUI v0.21에서 테스트되었으며, 매니저를 통해 사용자 정의 노드를 설치할 때 패키지 충돌이 발생하지 않습니다: https://github.com/comfyanonymous/ComfyUI/releases/tag/v0.2.1

제한사항

위의 영상을 시청하면, 댄서가 머리카락과 상호작용하는 부분이 제대로 애니메이션되지 않는 것을 알 수 있습니다. 이는 Mimic Motion이 Open Pose 정보를 입력으로 사용하기 때문입니다. 깊이 정보도 함께 사용된다면, 머리카락과의 상호작용이 정확하게 애니메이션될 것입니다.

노드

노드는 색상으로 구분됩니다:

• 빨강: 이러한 모델은 다운로드하여 적절한 폴더에 배치해야 합니다. 다운로드 후 ComfyUI를 새로고침하고 올바른 모델이 선택되었는지 확인하세요.

• 파랑: 이러한 노드는 사용자 입력이며, 원래 댄스 동작이 담긴 비디오 또는 프롬프트/설정입니다.

• 갈색: 이러한 노드는 워크플로우에서 발생하는 과정을 설명하는 주석입니다.

누락된 노드는 ComfyUI 매니저를 사용하여 설치하세요. 이 워크플로우에서 사용되는 사용자 정의 노드는 다음과 같습니다:

• ComfyUI Impact Pack

• ComfyUI Frame Interpolation

• AnimateDiff Evolved

• ComfyUI-VideoHelperSuite

• ReActor Node for ComfyUI

• rgthree's ComfyUI Nodes

• ComfyUI Essentials

• ComfyUI-MimicMotionWrapper

• segment anything

모델

일부 모델은 자동으로 다운로드되며, 일부는 ComfyUI 매니저를 통해 다운로드되고, 다른 일부는 수동으로 다운로드하여 해당 폴더에 배치해야 합니다.

• AnimateLCM: https://huggingface.co/wangfuyun/AnimateLCM AnimateLCM_sd15_t2v.ckpt를 "models/animatediff_models"에, AnimateLCM_sd15_t2v_lora.safetensors를 "models/loras"에 넣으세요.

• SD1.5 체크포인트: 생성하려는 영상의 종류(리얼리스틱/애니메이션)에 따라 선호하는 모델을 사용하세요. 저는 리얼리스틱한 생성을 목표로 Realistic Vision을 사용합니다.

• control_v11p_sd15_openpose.safetensors: ComfyUI 매니저를 통해 다운로드하세요.

• MimicMotion, Segment Anything, Grounding Dino, ReActor 모델은 자동으로 다운로드됩니다.

• insightface 설치에 문제가 있다면, 문제 해결 섹션의 지침을 따라주세요: https://github.com/Gourieff/comfyui-reactor-node