Wan2.2_S2V_text to "mouth shape" video - Dual sampler version

아래 링크를 클릭하여 직접 시도해 볼 수 있습니다. 효과가 좋다면 로컬에 배포할 수 있습니다.

https://www.runninghub.ai/post/1967949618497597442/?inviteCode=sdhs0trb

팬 혜택: 등록하면 1000포인트 지급, 매일 로그인 시 100포인트, 4090 사용! 48GB의 초강력 성능을 체험하세요.

https://buymeacoffee.com/a592991299o

테스트 결과에 따르면, S2V 입술 동기화 영상은 입술 동기화가 필요하며 신체 동작과 대사가 모두 필요한 상황에만 적합합니다. 비인간 영상을 생성하는 것은 추천하지 않으며, 음성 음악이나 순수 보컬을 오디오로 사용하는 것이 가장 좋습니다. 5초 오디오의 앞부분 2초가 순수 보컬이고 뒷부분 3초가 배경 음악일 경우 간섭이 쉽게 발생할 수 있습니다.

로컬 배포 시 다운로드해야 하는 모델:

1. Wan2.2 T2V high (파일명: wan2.2_t2w_high_noise_14B_fp16.safetensors)
   https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files/diffusion_models
   폴더 위치: models \ diffusionmodels
2. Wan2.2 S2V (파일명: wan2.2_st2v5_14B-bf16.safetensors)
   https://hf-mirror.com/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files/diffusion_models
   폴더 위치: models \ diffusionmodels
3. wav2vec2_large_english_fp16
   https://hf-mirror.com/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/tree/main/split_files/audio_encoders
   폴더 위치: models \ audio_coders

참고:
WanSoundImageToVideo 오류: 플러그인 버전을 업데이트하세요.
AudioSeparation 오류: 삭제 후 다시 설치하세요.