Video Sound Generator-Hunyuan Foley-workflow

아래 링크를 클릭하여 직접 시도해 볼 수 있습니다. 효과가 좋다면 로컬에 배포할 수 있습니다.

https://www.runninghub.ai/post/1966507850908512257/?inviteCode=1cqzbf7a

팬 혜택: 등록하면 1000포인트 지급, 매일 로그인 시 100포인트, 4090 플레이! 48GB의 초강력 성능을 체험하세요.

이것은 Hunyuan + Foley, 비디오 사운드 생성 워크플로우입니다. 테스트 결과 사운드 생성 효과가 뛰어나며, 실행에 필요한 비디오 메모리가 크지 않습니다. 추천할 만합니다! 사운드 품질에 더 높은 요구가 있으면, 단계 수를 늘려 달성할 수 있습니다.

로컬 배포 설치 단계:

1. Hunyuan + Foley 모델 다운로드:
   https://huggingface.co/tencent/HunyuanVideo-Foley/tree/main
   폴더 위치: models \ hunyuan_foley
2. siglip2 모델 다운로드:
   https://huggingface.co/google/siglip2-base-patch16-512/tree/main
   폴더 위치: models \ hunyuan_foley \ siglip2
3. CLAP 텍스트 모델 다운로드:
   https://huggingface.co/laion/larger_clap_general/tree/refs%2Fpr%2F2
   폴더 위치: models \ hunyuan_foley \ clap
4. 플러그인 설치:
   https://github.com/vantagewithai/Vantage-HunyuanFoley?tab=readme -ov-file
   폴더 위치: custom_nodes
5. 플러그인 디렉토리에서 명령어 실행 (custom_nodes \ Vantage HunyuanFoley):
   pip install -r requirements.txt

주의: requirements 설치 중 의존성 충돌 메시지가 나타나면 다음 명령어를 시도해 보세요:
pip install protobuf==3.19.6 diffusers timm transformers descript-audiotools omegaconf

자세한 내용은 플러그인 원작자의 소개를 참조하세요. 이 모델은 많은 의존성 요구 사항을 가지며 설치가 어렵다는 점에 유의하십시오.