Singing Avatar (Live Portrait, Mimic Motion, AnimateLCM)

이 워크플로우는 Mimic Motion을 사용하여 헤드의 포즈를 생성하도록 제어합니다. 배경은 정적 이미지로 교체되며, ReActor를 사용하여 얼굴 교체를 수행하고, AnimateLCM 패스에서 차등 확산을 사용하여 배경을 애니메이션화하고 가수를 정리합니다. 그 후 Live Portrait를 사용하여 입술과/또는 눈을 전이합니다.

ComfyUI 버전

이 워크플로우는 ComfyUI v0.21에서 테스트되었으며, 매니저에서 사용자 정의 노드를 설치할 때 패키지 충돌이 발생하지 않습니다: https://github.com/comfyanonymous/ComfyUI/releases/tag/v0.2.1

노드

빨간 노드는 워크플로우에서 다운로드하고 선택해야 하는 모델입니다.

파란 노드는 사용자 입력이 필요한 노드입니다.

다음 사용자 정의 노드를 설치하기 위해 ComfyUI 매니저를 사용하는 것을 권장합니다. ReActor 노드 GitHub 페이지의 지시 사항을 따라 insight face를 설치해야 합니다(https://github.com/Gourieff/comfyui-reactor-node?tab=readme-ov-file#troubleshooting):

• ComfyUI의 ControlNet 보조 전처리기
• ComfyUI 프레임 보간
• AnimateDiff Evolved
• ComfyUI-VideoHelperSuite
• ComfyUI용 ReActor 노드
• ComfyUI Essentials
• ComfyUI용 KJNodes
• ComfyUI-MimicMotionWrapper
• ComfyUI-LivePortraitKJ
• Crystools

모델

수동으로 다운로드하여 폴더에 배치:

• AnimateLCM: https://huggingface.co/wangfuyun/AnimateLCM AnimateLCM_sd15_t2v.ckpt는 "models/animatediff_models"에, AnimateLCM_sd15_t2v_lora.safetensors는 "models/loras"에 넣으세요.
• SD1.5 체크포인트: 원하는 SD1.5 체크포인트를 사용할 수 있습니다. 저는 Realistic Vision을 사용하고 있습니다.

ComfyUI 매니저를 사용하여 다운로드:

• control_v11p_sd15_openpose.safetensors
• control_v11f1p_sd15_depth_fp16.safetensors

자동 다운로드:

• MimicMotion
• ReActor