ComfyUI image-morphing low-VRAM LCM video animation workflow with poses

이 워크플로우를 통해 RTX 2060 모바일(VRAM 4GB 미만)에서 1024x1024 해상도의 12.5초 8fps 동영상을 19분 안에 생성할 수 있었고(768x768은 13분 안에 생성됨).

이 워크플로우는 두 개의 IPAdapter 이미지 모델 사이를 매끄럽게 전환하는 동영상을 생성하는 데 목적이 있습니다. 추가로 OpenPose 이미지를 사용하여 애니메이션을 지원할 수 있습니다.

워크플로우는 배치 크기를 1로 설정하여 프레임을 하나씩 반복 처리하므로 VRAM 사용량이 적습니다.

이 워크플로우는 png 프레임만 생성하므로, 실제 동영상은 ffmpeg와 같은 외부 도구를 사용하여 생성해야 합니다:

ffmpeg -framerate 8 -pattern_type glob -i 'vid4*.png' vid4.webm

버전 2 참고사항:

• 저장되는 이미지 파일명의 _prefix 계산식을 더 쉬운 파일 정렬을 위해 "a + b.zfill(5)"로 변경해야 합니다.

• 아래는 제가 예제 동영상을 생성할 때 사용한 포즈입니다: /model/329183 (파일명과 경로는 조정해야 합니다)

버전 1 참고사항:

이 워크플로우에서는 다음 OpenPose 이미지를 사용하고 있지만, 다른 포즈 이미지로도 수정하여 사용할 수 있습니다:

/model/162947/open-pose-dwpose-running-animation-figures

(경로는 조정해야 합니다)

현재 워크플로우는 CLIP_VISION 모델로 SVD를 사용하고 있지만, 다른 CLIP_VISION 모델/로더를 사용할 수도 있습니다.

버전 2 변경 사항:

• 그룹을 사용한 레이아웃 개선

• SVD 대신 일반 CLIP_VISION 로더 사용

• 포즈 프레임 번호를 파일명에 저장

• Depth ControlNet 추가

• 이미지 모핑 및 ControlNet 바이패스 기능 추가

• IPAdapter 강도 제어 기능 추가

버전 2.5 (진행 중, 6월 출시 예정):

• 생성된 프레임 간 일관성 향상을 위한 옵션 추가

• 임시적인 jobiterator 노드를 Impact Pack의 수동 큐 또는 루프 노드로 대체