Motion Forge: Wan2.2 S2V - High-Motion & Long-Format Workflow 4 Steps

zardozaizardozai
31
415
base model
v1.0

세부 정보

파일 다운로드

모델 설명

RES4LYF !!!! 설치

Wan2.2-S2V-14B 모델을 사용하여 단 4개의 샘플링 단계만으로 길고 역동적인 움직임을 가진 동영상을 생성하기 위해 고도로 최적화된 ComfyUI 워크플로우입니다.

이 워크플로우는 "Motion Forge" 시리즈의 다음 진화 단계로, 효율성과 길이의 경계를 확장합니다. 정교한 체인 메커니즘을 활용해 동영상을 순차적으로 확장함으로써, 단일 참조 이미지와 오디오 파일만으로도 높은 움직임 품질과 일관성을 유지하면서 훨씬 긴 동영상을 생성할 수 있습니다.

사용 모델: Wan2.2-S2V-14B-Q8_0.gguf

📖 설명

짧고 움직임이 부족한 클립에 지쳤나요? 이 워크플로우가 당신의 해답입니다. 일반적인 출력보다 더 긴, 감정이 풍부한 뮤직비디오 스타일 애니메이션을 만들고자 하는 사용자를 위해 설계되었습니다. 강력한 "Video S2V Extend x5" 그룹 노드를 활용해 초기 비디오 잠재 공간을 5단계에 걸쳐 점진적으로 확장합니다.

여기서 핵심 혁신은 극히 낮은 단계 수(4단계) 와 높은 CFG(6) 및 전문 샘플링(uni_pc, beta57)을 결합한 것입니다. 이는 빠르고 창의적이며 에너지 넘치는 움직임 생성을 우선시합니다. 음악에 맞춘 애니메이션 제작, 역동적인 장면 생성, 혹은 사실적 정지 이미지보다 유연하고 과장된 움직임을 원하는 모든 응용 분야에 완벽합니다.

✨ 기능 및 핵심 특징

  • 🔥 초고속 생성: 샘플링 단계당 단 4단계로, 생성된 동영상 길이에 비해 놀라울 정도로 빠릅니다.

  • 💥 고움직임 출력: 고 CFG 스케일과 특수 샘플러/스케줄러를 의도적으로 설정해 최종 동영상의 움직임과 역동성을 극대화합니다.

  • 🎬 장편 동영상: 핵심 "Video S2V Extend x5" 노드는 5단계 순차 생성을 연결해 기본 클립을 훨씬 긴 시퀀스로 변환합니다.

  • 🎵 오디오-동영상 연동(S2V): Wav2Vec 인코더를 통해 오디오 분석을 완전히 통합하여 시각적 움직임을 입력 오디오 트랙(DEXTER_JUSTICE.wav 예시)과 동기화합니다.

  • 🧹 내장 메모리 관리: 긴 생성 과정 중 안정성을 보장하기 위해 easy cleanGpuUsed, VRAMCleanup, RAMCleanup 노드를 포함합니다.

  • 🔧 스마트 사전 처리: 참조 이미지(ComfyUI_02140_.png)를 최적의 호환성을 위해 자동으로 리사이즈하고 준비합니다.

  • 🎯 사용자 경험 개선: 워크플로우 내에 기술된 “어이없는 해킹”을 통해 VAE에 의해 “과도하게 처리된” 첫 번째 프레임을 복제한 후 디코딩 후 제거함으로써 수정합니다.

🛠️ 기술 세부 사항

워크플로우: ComfyUI (JSON 파일 포함)
주요 모델: Wan2.2-S2V-14B-Q8_0.gguf
CLIP 모델: cow-umt5xxl-q4_0.gguf
VAE: Wan2_1_VAE_fp32.safetensors
오디오 인코더: wav2vec2_large_english_fp8_e4m3fn.safetensors
LoRA: lightx2v_I2V_14B_480p_cfg_step_distill_rank128_bf16.safetensors (강도: 1.38)

🚀 사용 방법

  1. 워크플로우 로드: 제공된 JSON 파일을 ComfyUI에 불러옵니다.

  2. 모델 경로 확인: LoaderGGUF, ClipLoaderGGUF, VaeGGUF 노드 내 필요한 모델 파일(Wan2.2-S2V-14B-Q8_0.gguf 등)의 경로가 시스템의 실제 위치를 가리키는지 확인합니다.

  3. 미디어 입력:

    • 참조 이미지: LoadImage 노드의 경로를 본인의 시작 이미지로 교체합니다.
    • 오디오 파일: LoadAudio 노드의 경로를 본인의 오디오 파일(예: 노래, 대사, 사운드스케이프)로 교체합니다.

  4. 프롬프트 수정: CLIP Text Encode 노드(양성/부정)의 텍스트를 원하는 장면을 설명하고 불필요한 요소를 제외하도록 수정합니다.

  5. 프롬프트 실행: 워크플로우를 실행하세요! 결과는 오디오와 결합된 동영상 파일로 ComfyUI 출력 디렉토리에 저장됩니다.

💡 워크플로우 구성 (마법의 비결)

워크플로우는 명확성을 위해 논리적으로 그룹화되었습니다:

  1. Step 1 - 모델 로드: 핵심 Wan 모델, VAE를 로드하고 성능 향상을 위한 특수 LoRA를 적용합니다.

  2. Step 2 - 오디오 및 참조 이미지 업로드: 소스 미디어를 파이프라인에 공급합니다.

  3. Step 3 - 배치 설정: 배치 크기, 청크 길이, 샘플링 단계 등 전역 파라미터를 설정합니다.

  4. Step 4 - 프롬프트: 시각적 스타일과 내용을 정의합니다.

  5. 기본 샘플링: WanSoundImageToVideo 및 KSampler 노드가 이미지와 오디오에서 첫 번째 짧은 비디오 잠재 공간을 생성합니다.

  6. Video S2V Extend X5 (핵심): 이 커스텀 그룹 노드가 워크플로우의 엔진입니다. 초기 비디오를 5개의 별도 확장 사이클에 통과시키며, 각 사이클마다 서로 다른 시드를 사용해 원본 이미지와 오디오에 조건을 유지한 채 시간을 따라 동영상을 “꿈꾸듯” 확장합니다.

  7. 과도하게 처리된 첫 번째 프레임 수정: 최종 잠재 공간 동영상을 디코딩하고 첫 프레임의 시각적 아티팩트를 보정한 후 최종 프레임을 추출하는 후처리 체인입니다.

  8. 최종 결합: VHS_VideoCombine 노드가 생성된 모든 프레임과 원본 오디오 파일을 결합해 최종 MP4 동영상을 렌더링합니다.

📝 워크플로우의 예시 프롬프트

양성 프롬프트:
"자동차 내부에 있는 전문 남성 운전사, 차창 너머 뉴욕 야경, 네온 조명이 얼굴에 반사, 승객 쪽 카메라를 향한 미묘한 머리 돌리기, 사색적인 표정, 거리 조명의 시네마틱 보케, 대시보드 조명, 도시 분위기, 부드러운 카메라 움직임, noir 미학, 파랑과 주황 톤의 우울한 조명, 4K 품질"

부정 프롬프트:
"色调艳丽，过曝，静态，细节模糊不清，字幕，风格，作品，画作，画面，静止，整体发灰，最差质量，低质量，JPEG压缩残留，丑陋的，残缺的，多余的手指，画得不好的手部，画得不好的脸部，畸形的，毁容的，形态畸形的肢体，手指融合，静止不动的画面，杂乱的背景，三条腿，背景人很多，倒着走"
(번역: 과도한 채도, 과노출, 정지 이미지, 흐릿한 디테일, 텍스트, 예술작품, 최저 품질, 추악함, 비정상형, 추가 손가락, 나쁜 손/얼굴, 변형, 혼잡한 배경 등 피함)

⚙️ 권장 설정

  • 더 긴 동영상 원할 경우: “청크 길이”를 늘리거나 Video S2V Extend 그룹을 복사해 확장 블록을 추가하세요.

  • 다른 움직임 스타일 원할 경우: CFG 스케일을 실험해보세요. 낮은 값(3-5)은 미묘한 움직임을, 높은 값(7-10)은 더 극적인 효과를 낼 수 있습니다.

  • 일관성 문제 발생 시: "Steps"라는 이름의 PrimitiveInt 노드에서 약간 더 높은 단계 수(6-8)를 사용해 보세요.

⚠️ 제한 사항 및 참고 사항

  • 일관성 저하: 모든 동영상 확장 기술과 마찬가지로, 원본 참조 이미지와의 일관성은 동영상이 길어질수록 저하됩니다.

  • 높은 VRAM 사용: 긴 동영상 생성은 VRAM을 많이 소모합니다. 메모리 정리 노드는 안정성 확보에 필수적입니다.

  • 예술적, 사실적이지 않음: 4단계 접근법은 완벽하고 안정적인 사실적 프레임 생성보다 표현력 있는 움직임 생성에 최적화되었습니다. 출력물의 추상적이고 역동적인 성격을 즐기세요!

태그: ComfyUI, Workflow, Wan2.2, Sound2Video, S2V, Video Generation, AI Video, Long Video, High Motion, AnimateDiff, AI Animation

이 모델로 만든 이미지

이미지를 찾을 수 없습니다.