Video Sound Generator-Hunyuan Foley-workflow

아래 링크를 클릭하여 직접 시도해 볼 수 있습니다. 효과가 좋다면 로컬에 배포할 수 있습니다.

https://www.runninghub.ai/post/1966496955998351362/?inviteCode=sdhs0trb

팬 혜택: 등록하면 1000포인트 지급, 매일 로그인 시 100포인트, 4090 플레이! 48GB의 초강력 경험을 해보세요.

https://buymeacoffee.com/a592991299o

이것은 Hunyuan + Foley, 비디오 사운드 생성 워크플로우입니다. 테스트 결과 사운드 생성 효과가 탁월하며, 실행에 필요한 비디오 메모리가 크지 않습니다. 추천할 만합니다! 사운드 품질에 더 높은 요구가 있다면 스텝 수를 늘려서 달성할 수 있습니다.

로컬 배포 설치 단계:

1. Hunyuan + Foley 모델 다운로드:
   https://huggingface.co/tencent/HunyuanVideo-Foley/tree/main
   폴더 위치: models \ hunyuan_foley
2. siglip2 모델 다운로드:
   https://huggingface.co/google/siglip2-base-patch16-512/tree/main
   폴더 위치: models \ hunyuan_foley \ siglip2
3. CLAP 텍스트 모델 다운로드:
   https://huggingface.co/laion/larger_clap_general/tree/refs%2Fpr%2F2
   폴더 위치: models \ hunyuan_foley \ clap
4. 플러그인 설치:
   https://github.com/vantagewithai/Vantage-HunyuanFoley?tab=readme -ov-file
   폴더 위치: custom_nodes
5. 플러그인 디렉토리(custom_nodes \ Vantage HunyuanFoley)에서 다음 명령 실행:
   pip install -r requirements.txt

주의: requirements 설치 중 종속성 충돌 메시지가 발생하면 다음 명령을 실행해 보세요:
pip install protobuf==3.19.6 diffusers timm transformers descript-audiotools omegaconf

자세한 내용은 플러그인의 원작자 설명을 참고하세요. 이 모델은 많은 종속성을 요구하며 설치가 어렵다는 점에 유의하세요.