Nvidia Cosmos Image to Video ComfyUI workflow

설명

Nvidia Cosmos를 사용하는 이미지에서 비디오로 변환하는 ComfyUI 워크플로입니다. 이 워크플로는 ComfyUI 예제 페이지의 기본 워크플로를 기반으로 하되, 일부 수정을 가했습니다.

https://comfyanonymous.github.io/ComfyUI_examples/cosmos/

ZIP 파일에는 json 파일, 시작 이미지, 그리고 워크플로를 담은 png 파일이 포함되어 있습니다.

사용법

초기 이미지를 이미지 노드에 드래그하고, 프롬프트를 조정한 후 큐를 누르세요. 나머지는 자동으로 처리됩니다.

업스케일링

업스케일링은 별도의 단계에서 수행해야 합니다. Cosmos는 이미 상당히 큰 비디오를 생성하며, 최소 크기는 704 x 704 픽셀입니다. ComfyUI에서 비디오 업스케일링에 대한 예제 워크플로는 아래 기사에서 확인할 수 있습니다: https://www.tomgoodnoise.de/index.php/video-upscaling-in-comfyui/

제한 사항

위에서 언급했듯이, 최소 크기는 704 x 704 픽셀입니다.

기타

중요한 노드 옆에 몇 개의 접힌 노트 노드가 있습니다. 클릭하여 확장하세요.

이 노트 노드에는 추가 정보가 포함되어 있으며, 모델의 경우 모델 링크와 설치 위치도 제공됩니다.

시간

예제 비디오는 준비 시간을 포함해 총 52분이 걸렸습니다. Cosmos의 비디오 생성은 매우 느립니다. 비교하자면, Cogvideo는 비슷한 작업을 8분 또는 4분 내에, LTXVideo는 2분 내에 처리합니다.

요구 사항

이 워크플로는 16GB VRAM으로 생성되었습니다. 최소 요구 사항은 12GB VRAM이며, 시스템 RAM은 최소 32GB 이상이어야 합니다.