Animatediff3 img2vid Sparse Control

설명

이것은 시작 이미지와 끝 이미지를 사용하는 Animatediff 3 워크플로우입니다. 이 과정은 Sparse Control을 통해 수행되며, 두 단계로 구성되어 있습니다. 먼저 Animatediff의 일반적인 적합한 크기로 초당 8프레임의 미리보기 영상을 생성하고, 그 후 Supermegabadassupscaler 워크플로우를 사용하여 이를 업스케일링합니다.

물론 결과는 최신 AI 영상 모델의 결과만큼 우수하지는 않습니다. 또한 이제 영상 편집 소프트웨어에서 추가 작업을 해야 합니다. 그러나 Animatediff 기준으로는 여전히 인상적입니다.

사용 방법

시작 이미지와 끝 이미지를 로드하세요. 프롬프트, 크기 및 길이를 조정한 후 미리보기 영상을 생성하세요. 생성된 미리보기 영상을 Supermegabadassupscaler 워크플로우를 사용하여 최종 결과 및 프레임 레이트로 업스케일링하세요.

시간

4초 길이, 560 x 320 크기의 미리보기 영상 생성에는 약 2분이 소요되었고, 이후 1120 x 640 크기로 업스케일링하는 데 추가로 2분 30초가 걸렸습니다.

요구 사항

이 워크플로우는 최소 12GB VRAM이 필요합니다. UltimateUpscale SD 노드를 사용하며, 이 노드는 보통 8GB VRAM만 있는 카드에서 메모리 부족으로 실행되지 않습니다. 저는 이전 카드로는 절대 사용해 본 적이 없습니다.