AnimateLCM Image to Video Workflow (I2V)

서론

이것은 AnimateLCM 이미지에서 영상으로 변환 기능이 가능하다는 것을 보여주는 데모입니다. 초기 영상 생성을 위한 AnimateLCM I2V 단계를 거친 후, Cseti의 일반적인 움직임 LoRA를 사용하여 AnimateLCM T2V로 두 번째 단계를 수행하여 세부 사항을 정리하고 32프레임 간 일관성을 확보합니다. IPAdapter는 생성 결과가 원본 이미지에 더 잘 부합하도록 유지하는 데 사용됩니다.

이 워크플로우는 각 입력 이미지에 대해 적절한 영상 출력을 얻기 위해 설정을 조정해야 함을 유의하세요. 또한, 출력 영상은 온라인에서 제공되는 이미지에서 영상으로 변환 서비스만큼의 애니메이션 효과를 가지지 않습니다. 이 영상은 30FPS 기준 약 2초로 제한됩니다.

CogVideoX (16GB VRAM용)

CogVideoX를 실행할 수 있는 VRAM이 없는 경우에만 이 워크플로우를 사용하세요. VRAM이 16GB 이상 있다면, kijai의 CogVideoX 래퍼 노드(https://github.com/kijai/ComfyUI-CogVideoXWrapper/)를 설치하고 예제 폴더의 I2V 워크플로우를 로드하세요. VRAM 사용량을 줄이려면, (Down)load CogVideo Model 노드에서 fp8 transformer를 활성화하고, CogVideo Decode 노드에서 enable_vae_tiling을 활성화하세요.

노드

빨간색: 사용자가 모델을 다운로드하거나 선택해야 함

파란색: 사용자가 설정을 변경하거나 입력 이미지를 제공해야 함

갈색: 워크플로우에 대한 참고 사항. 사용 중에 주의 깊게 읽으세요.

사용자 정의 노드(매니저로 설치)

• ComfyUI Frame Interpolation

• ComfyUI_IPAdapter_plus

• AnimateDiff Evolved

• ComfyUI-VideoHelperSuite

• ComfyUI Essentials

• KJNodes for ComfyUI

• ReActor Node for ComfyUI (옵션)

필요한 모델

• Cseti의 일반적인 움직임 LoRA (models/animatediff_motion_lora): https://huggingface.co/Cseti/General_motionLoRA_32fr_sd15_ad2_v1

• https://huggingface.co/wangfuyun/AnimateLCM

  • AnimateLCM_sd15_t2v.ckpt (models\animatediff_models)

  • AnimateLCM_sd15_t2v_lora.safetensors (models\loras)

• https://huggingface.co/wangfuyun/AnimateLCM-I2V

  • AnimateLCM_sd15_i2v.ckpt (models\animatediff_models)

  • AnimateLCM_sd15_i2v_lora.safetensors (models\loras)

• https://huggingface.co/guoyww/animatediff/tree/cd71ae134a27ec6008b968d6419952b0c0494cf2

  • v3_sd15_adapter.ckpt (models\loras)

• 매니저로 다운로드

  • ip-adapter-faceid-plusv2_sd15_lora.safetensors

  • ip-adapter-plus_sd15.safetensors

  • CLIPVision 모델 (IP-Adapter) CLIP-ViT-H-14-laion2B-s32B-b79K