Video Sound Generator-Hunyuan Foley-workflow

下のリンクをクリックして、直接お試しください。効果が良ければ、ローカルにデプロイできます。

https://www.runninghub.ai/post/1966507850908512257/?inviteCode=1cqzbf7a

ファン特典：登録で1000ポイント獲得、毎日ログインで100ポイント、4090をプレイ！48GBの超パワーを体験してください。

これはHunyuan+Foley、動画音声生成ワークフローです。テスト結果、音声生成の効果は非常に優れており、動作に必要なビデオメモリも高くありません。推奨できます！音質に更高の要求がある場合は、ステップ数を増やすことで実現できます。

ローカルデプロイのインストール手順：

1. Hunyuan+Foleyモデルをダウンロード：
   https://huggingface.co/tencent/HunyuanVideo-Foley/tree/main
   フォルダ配置：models \ hunyuan_foley
2. siglip2モデルをダウンロード：
   https://huggingface.co/google/siglip2-base-patch16-512/tree/main
   フォルダ配置：models \ hunyuan_foley \ siglip2
3. CLAPテキストモデルをダウンロード：
   https://huggingface.co/laion/larger_clap_general/tree/refs%2Fpr%2F2
   フォルダ配置：models \ hunyuan_foley \ clap
4. プラグインをインストール：
   https://github.com/vantagewithai/Vantage-HunyuanFoley?tab=readme -ov-file
   フォルダ配置：custom_nodes
5. プラグインディレクトリ（custom_nodes \ Vantage HunyuanFoley）で以下のコマンドを実行：
   pip install -r requirements.txt

注意：requirementsのインストール中に依存関係の競合が発生した場合は、以下のコマンドを実行してみてください：
pip install protobuf==3.19.6 diffusers timm transformers descript-audiotools omegaconf

詳細については、プラグインの元の作者の紹介を参照してください。このモデルは多くの依存関係を必要とし、インストールが難しいことにご注意ください。