Wan2.2+14B+Sage + TorchCompile + LLM AutoPrompt Workflow

이 ComfyUI 워크플로우는 단일 이미지에서 비디오를 생성하는(이미지-투-비디오) 고급 파이프라인입니다. 이 워크플로우는 핵심 비디오 합성에 Wan2.2 14B 모델의 힘을 활용합니다. 성능과 창의적 제어를 위해 여러 고급 기능이 추가되었습니다.

핵심 기능 중 하나는 LLM AutoPrompt 노드의 통합입니다. 이를 통해 비디오 생성 프로세스를 안내하기 위해 자세하고 역동적인 프롬프트를 자동으로 생성할 수 있습니다. 워크플로우는 또한 Sage Attention과 Torch Compile이라는 고급 최적화 기법을 도입합니다. _Sage Attention_은 고해상도 비디오 생성에 특히 유익한 더 효율적이고 안정적인 어텐션 메커니즘을 제공하며, _Torch Compile_은 PyTorch 코드를 더 최적화된 표현으로 컴파일함으로써 모델 실행 속도를 크게 향상시킵니다.

워크플로우는 사용자가 제공한 이미지부터 시작합니다. 그런 다음 LLM을 사용하여 이미지 콘텐츠에 기반한 설명적 프롬프트를 생성합니다. 이 생성된 프롬프트와 초기 이미지는 함께 Wan2.2 모델에 입력되어 최종 비디오 출력을 생성합니다.

사용 권장 사항

이 워크플로우를 효과적으로 사용하려면 다음 권장 사항을 따르세요:

• 입력 이미지: 원하는 시작 이미지를 지정된 "LoadImage" 노드에 로드하세요. 이 워크플로우는 정적 이미지를 애니메이션화하도록 설계되었으므로, 명확하고 잘 정의된 주제가 최상의 결과를 제공합니다.

• LLM AutoPrompt: LLM AutoPrompt 노드는 비디오의 내러티브와 동작에 영향을 미치는 텍스트 프롬프트를 자동으로 생성하도록 구성되어 있습니다. system_msg 입력을 수정하여 LLM의 동작을 사용자 정의하여 생성된 프롬프트의 스타일과 내용을 유도할 수 있습니다.보다 직접적인 제어를 원한다면 LLM을 생략하고 자체 설명적 프롬프트를 입력할 수 있습니다.

• 모델 및 성능 설정:

  • 이 워크플로우는 사전 설정된 방식으로 Wan2.2 14B 모델을 사용하도록 구성되어 있습니다. 올바른 모델 파일이 ComfyUI의 models/unet 디렉토리에 다운로드되어 있고 배치되어 있는지 확인하세요.

  • Sage Attention과 Torch Compile은 성능 최적화를 위해 기본적으로 활성화되어 있습니다. 대부분의 사용자에게 기본 설정은 속도와 품질 간의 좋은 균형을 제공합니다. 문제가 발생하면 이러한 노드를 비활성화해 볼 수 있으나, 생성 시간이 크게 증가할 것을 예상하세요.

• 출력: 최종 출력은 비디오 파일입니다. "VHS_VideoCombine" 노드에서 비디오의 해상도, 프레임 속도 및 기타 매개변수를 조정하여 자신의 필요에 맞출 수 있습니다.

이 워크플로우는 자동화된 창의적 프롬프팅을 활용하여 정적 이미지에서 고품질 비디오 콘텐츠를 생성하려는 사용자에게 이상적이며, 고급 성능 최적화도 활용할 수 있습니다.

워크플로우에서 사용된 비정형 노드:

https://github.com/city96/ComfyUI-GGUF

https://github.com/pollockjj/ComfyUI-MultiGPU

• 옵션으로 https://github.com/gokayfem/ComfyUI_VLM_nodes