Make Clouds Dance!

소개

이 워크플로우는 AnimateDiff, IPAdapter 및 ControlNet을 사용하여 구름이 춤추도록 합니다. 이 워크플로우의 핵심 혁신은 깊이 맵을 VAE 인코딩하고 노이즈 제거 수준을 조정하여 깊이 맵이 구름으로 노이즈 제거되도록 하는 것입니다. 이는 AnimateDiff의 컨텍스트 길이로 인해 16프레임마다 비디오가 변형되는 것을 방지합니다.

모델

1. SD1.5 LCM 체크포인트. Dreamshaper 8 LCM 사용: /model/4384?modelVersionId=252914

2. AnimateLCM_sd15_t2v.ckpt: https://huggingface.co/wangfuyun/AnimateLCM/tree/main에서 다운로드하여 models/animatediff_models 폴더에 저장하세요.

3. depth_anything_v2_vitl.pth 및 control_v11f1p_sd15_depth_fp16.safetensors. Manager를 사용하여 다운로드하세요.

4. IPAdapter PLUS: ComfyUI Manager를 사용하여 ip-adapter-plus_sd15.safetensors를 다운로드하세요. 또한 ComfyUI Manager를 사용하여 ViT-H 및 ViT-G clip_vision 모델을 다운로드하세요.

커스텀 노드

Manager를 사용하여 설치:

1. ComfyUI-VideoHelperSuite

2. KJNodes for ComfyUI

3. ComfyUI의 ControlNet Auxiliary Preprocessors

4. AnimateDiff Evolved

5. ComfyUI_IPAdapter_plus

6. ComfyUI Frame Interpolation