ComfyUI Txt2Video with SVD

업데이트: SVD 버전 1.1을 여기서 다운로드할 수 있습니다: https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt-1-1/tree/main

"이 모델은 동일한 크기의 컨텍스트 프레임을 입력으로 받아 1024x576 해상도로 25프레임을 생성하도록 학습되었으며, SVD 이미지-to-비디오 [25프레임]에서 미세 조정되었습니다."

Stable Video Diffusion의 Img2Video 기반으로, 이 ComfyUI 워크플로우를 사용하면 원하는 프롬프트, 네거티브 프롬프트, 체크포인트(및 VAE)로 이미지를 생성한 후, 해당 이미지를 기반으로 자동으로 비디오를 생성할 수 있습니다.

v1.3_sd3: Stable Diffusion 3 및 SVD XT 1.1을 사용한 txt2video

Stable Diffusion 3 모델을 다운로드하고 .safetensors 파일을 저장할 위치에 대한 정보: /model/497255/stable-diffusion-3-sd3

v1.3_cascade: Stable Cascade 및 SVD XT 1.1을 사용한 txt2video

Stable Cascade 모델을 다운로드하고 .safetensors 파일을 저장할 위치에 대한 정보: https://gist.github.com/comfyanonymous/0f09119a342d0dd825bb2d99d19b781c

v1.3: SVD 기본값이 이제 svd_xt_1_1.safetensors입니다

.gif 생성 (.webp 대신, .mp4는 여전히 존재함)

v1.2: SVD img2vid_conditioning의 기본 fps 값이 8에서 10으로 변경되었습니다. 이전에는 저장값과 webp 저장값인 10과 잘못되어 달랐습니다.

v1.1: 더 명확한 인터페이스

v1: 첫 번째 버전

필요 사항:

1- Windows: NVIDIA GPU만 8GB 이상 VRAM 필요

Linux: NVIDIA GPU 및 AMD GPU 모두 8GB 이상 VRAM 필요

2- ComfyUI: https://github.com/comfyanonymous/ComfyUI

3- 이 워크플로우

4- ComfyUI\models\checkpoints에 다음 파일 필요:

https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/blob/main/svd.safetensors <-- 14fps 비디오용

또는

https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/blob/main/svd_xt.safetensors <-- 25fps 비디오용

5- ComfyUI\models\checkpoints에 체크포인트 파일 하나

6- ComfyUI\models\vae에 VAE 파일 하나 (선택 사항)

7- 누락된 노드를 위한 ComfyUI Manager: https://github.com/ltdrdata/ComfyUI-Manager

P.S.: SVD에 권장되는 해상도는 576x1024이지만, 이 워크플로우에서는 기본값으로 512x768(40단계)을 설정했습니다(20단계도 충분합니다). 해상도와 단계는 본인의 선택에 따라 조정하실 수 있습니다. 그러나 512x768 해상도에 40단계는 시도할 때 좋은 시작점입니다.

저를 지원하고 싶다면, 제 Patreon을 확인하세요: https://www.patreon.com/Shiroppo

CivitAI에서 저를 팔로우하세요(!!!): https://civitai.com/user/shiroppo

Twitter/X에서 저를 팔로우하세요: https://x.com/ShiroppoTwit

Pixiv: https://www.pixiv.net/users/96490888

---