Video Sound Generator-Hunyuan Foley-workflow

以下のリンクをクリックして、直接お試しください。効果が良ければ、ローカルにデプロイできます。

https://www.runninghub.ai/post/1966496955998351362/?inviteCode=sdhs0trb

ファン特典：登録で1000ポイント、毎日ログインで100ポイント、4090をプレイ！48Gの超パワーを体験してください。

https://buymeacoffee.com/a592991299o

これはHunyuan+Foley、ビデオ音声生成ワークフローです。テスト結果によると、音声生成の効果は非常に優れており、動作に必要なビデオメモリもそれほど高くありません。推奨できます！音質にさらに高い要求がある場合は、ステップ数を増やすことで実現できます。

ローカルデプロイのインストール手順：

1. Hunyuan+Foleyモデルをダウンロード：
   https://huggingface.co/tencent/HunyuanVideo-Foley/tree/main
   フォルダ配置：models \ hunyuan_foley
2. siglip2モデルをダウンロード：
   https://huggingface.co/google/siglip2-base-patch16-512/tree/main
   フォルダ配置：models \ hunyuan_foley \ siglip2
3. CLAPテキストモデルをダウンロード：
   https://huggingface.co/laion/larger_clap_general/tree/refs%2Fpr%2F2
   フォルダ配置：models \ hunyuan_foley \ clap
4. プラグインをインストール：
   https://github.com/vantagewithai/Vantage-HunyuanFoley?tab=readme -ov-file
   フォルダ配置：custom_nodes
5. プラグインディレクトリ（custom_nodes \ Vantage HunyuanFoley）で以下のコマンドを実行：
   pip install -r requirements.txt

注意：requirementsの処理中に依存関係の衝突メッセージが表示された場合、以下のコマンドを試してください：
pip install protobuf==3.19.6 diffusers timm transformers descript-audiotools omegaconf

詳細については、プラグインの元の作者の紹介をご参照ください。このモデルは多くの依存関係を必要とし、インストールが難しいことにご注意ください。