WAN 2.2 I2V Lightx2v Faster Motions 3-stage Workflow

3단계 아이디어는 3DBicioo에게 감사드립니다!

참고: 저는 Civitai에서 휴식을 취하고 있으며, 어떤 메시지도 답변하지 않습니다.

이 워크플로우는 현재 Lightx2v의 느린 동작 문제를 완화합니다. 이 문제가 해결되면, 이 워크플로우는 더 이상 필요하지 않습니다!

Lightx2v는 WAN 2.2 생성 시간을 단축하지만 동작이 둔해집니다. 이 3단계 워크플로우는 더 빠른 동작을 생성하며, 제 3090 GPU에서는 5분 이내로 실행됩니다.

3단계:

저는 Lightx2v 커뮤니티 게시물에서 이 3단계 접근법을 배웠습니다:

이 접근법을 공유함으로써, 지금 당장 더 많은 사람들이 WAN2.2에 흥미를 느끼고, 더 많은 WAN2.2 LoRA가 만들어지기를 바랍니다!

설명

이 워크플로우는 다음을 지원합니다:

최신 버전의 ComfyUI로 업그레이드해 주세요. 저는 다음 버전을 사용했습니다:

모델을 다운로드하여 올바른 디렉터리에 배치하세요.

umt5_xxl_fp8_em4m3fn_scaled.safetensors
- models/text_encoders에 배치
wan_2.1_vae.safetensors
- models/vae에 배치
wan2.2_i2v_high_noise_14B_QX.gguf
wan2.2_i2v_low_noise_14B_QX.gguf
- https://huggingface.co/bullerwins/Wan2.2-I2V-A14B-GGUF/tree/main
- 양자화된 모델을 선택하세요. 저는 Q6_K를 사용했지만, VRAM이 적다면 Q4_K_S를 사용할 수 있습니다.
- 이 파일들을 models/unet에 배치
Wan2.2-I2V-A14B-4step-lora-rank64-Seko-V1-high-noise.safetensors
Wan2.2-I2V-A14B-4step-lora-rank64-Seko-V1-low-noise.safetensors
- https://huggingface.co/lightx2v/Wan2.2-Lightning/tree/main/Wan2.2-I2V-A14B-4steps-lora-rank64-Seko-V1
- high_noise_model.safetensor과 low_noise_model.safetensor을 다운로드하세요. 저는 이를 각각 Wan2.2-I2V-A14B-4step-lora-rank64-Seko-V1-(high-noise/low-noise)로 이름을 바꾸었습니다.
- 이 파일들을 models/loras에 배치

이 워크플로우는 3단계 접근법을 사용합니다. 첫 번째 단계는 Lightx2v LoRA 없이 원본 WAN2.2 모델을 사용하여 더 빠른 동작을 생성합니다. 두 번째 및 세 번째 단계는 일반적으로 하이 및 로우 Lightx2v LoRA를 사용합니다.

알려진 문제

이 접근법은 여전히 번쩍이는 빛과 "과도하게 조절된" 색상 같은 일부 아티팩트를 생성할 수 있습니다. 이러한 문제가 발생하면 스텝을 12로 늘려 다시 시도해 보세요.

보간 모델 RIFE49는 특히 빠르게 움직이는 팔에서 움직임 아티팩트(흔들리는 배경)를 생성합니다. 이 문제에 대한 좋은 해결책은 아직 없습니다.

일부 사용자에게는 VRAM 문제가 발생할 수 있습니다. 'Patch Model Patcher Order' 노드를 삭제해 보세요.