Geeky Ghost Vid2Vid Organized v1

詳細

ファイルをダウンロード

モデル説明

このワークフローは、スタイル転送、モーション分析、深度推定、フレーム補間などのさまざまな技術を組み合わせて、複数のソースから要素を統合し、視覚的品質を向上させた最終的な動画を作成するために設計されています。

グループバイパストグルを使用すると、不要な要素をオフにできます。

ControlNetモデルを修正する必要があります。並べ替え中にミスをしてしまいました(笑)。使いやすい状態なので、忘れずに置ける場所に置いておきたかったのです。

1.5 では、モデルとラベルにいくつか修正を加えました。

2.0 が私がリリースする最終版です。必要な出力を得られるよう、細かく調整しました。このワークフローは、3Dレンダリングされた動画や他の動画のスタイルを変更するために作成されました。SD 1.5 と AnimateDiff 1.5 に対して、可能な限り効率的で堅牢な構成にしました。ご希望に応じてカスタマイズしてください。グループボックスを追加すると、バイパスノードに自動的に追加されます。オン/オフの切り替えが簡単になります。お楽しみください!

2.5 ではオーディオ入力とその他の改善を追加しました。IP Strength や IP Image Strength のスライダーは 1.0 を超えないでください。頻繁に使用するため、入力グループに移動しました。

3.0 では vid2vid を大幅に改善しました。オーディオは維持しましたが、オーディオをマスクに使う機能は削除しました。技術的には動作しますが、私が望むようには動作しなかったためです。これが最終版です。これ以上バージョンは出しません(笑)。

4.0 さて、IP Adapter の更新で私の設定が壊れてしまいました(笑)。しかし、結果的には素晴らしいことになりました。IP Adapter Plus の更新と、更新内容を読んだことでその仕組みをより深く理解できたおかげで、コントロールネットを2つ、IP Adapter を2つにまで簡素化できました。重みやその他の設定を調整してください(IP Adapter の更新を読んでいただくことをお勧めします。多くの変更が加えられています)。動画を追加し、プロンプトを入力し、LoRA を設定し、顔入れ替え用の画像をアップロードするなど、必要な機能だけをオンにし、不要なものは簡単にオフにできます。これ以上簡素化・使いやすくすることはできません(笑)。これが最終、最終、最終版です。

ワークフローに設定された ControlNet:Depth、Openpose、Canny、Softedge

  1. VHS_LoadVideo:動画ファイルをワークフローに読み込み、フレームとオーディオを抽出して処理します。

  2. ImageScale:画像を希望の解像度にスケーリングし、後続のノードでの処理に備えます。

  3. ControlNetLoader:動画フレームからポーズとモーション情報を抽出するために使用される ControlNet モデルを読み込みます。

  4. DepthAnythingPreprocessor & DWPreprocessor:それぞれ深度推定とポーズ検出用に画像を前処理し、アニメーションプロセスにおけるモーションと深度データの品質を向上させます。

  5. Control Net Stacker:複数のコントロールネットを統合し、動画の包括的なモーションとポーズデータセットを作成します。

  6. LoadImage:ワークフローに静的画像を読み込み、テクスチャマッピング、背景交換、またはスタイル転送の参照画像として使用します。

  7. PrepImageForClipVision:画像を CLIP 処理用に適切な形式と解像度に調整します。

  8. CLIPVisionLoader:セマンティックな画像理解に使用される CLIP モデルを読み込み、スタイル転送プロセスをガイドします。

  9. IPAdapterModelLoader:スタイル転送に使用される IP Adapter モデルを読み込み、画像を特定の美的またはテーマ的なスタイルに適合させます。

  10. IPAdapterApplyEncoded:IP Adapter モデルを適用し、ある画像の視覚的スタイルを処理済みの動画フレームに符号化して転送します。

  11. IPAdapterEncoder:IP Adapter モデルを使用して画像を符号化し、スタイル転送プロセスの準備をします。

  12. ADE_LoadAnimateDiffModel & ADE_ApplyAnimateDiffModel:AnimateDiff モデルを読み込み適用し、動画フレーム間の滑らかな遷移とアニメーションを生成します。

  13. ADE_AnimateDiffLoRALoader:AnimateDiff と組み合わせてアニメーションのモーションの詳細さと滑らかさを強化するために使用される LoRA モデルを読み込みます。

  14. ADE_UseEvolvedSampling:生成されたアニメーションと遷移の品質を向上させるため、進化したサンプリング技術を使用します。

  15. BatchPromptSchedule:生成と変換プロセスをガイドするためのテキストプロンプトのスケジューリングを管理し、生成コンテンツの文脈的関連性を向上させます。

  16. ReActorFaceSwap & FaceRestoreCFWithModel:これらのノードは顔処理に関与し、ReActorFaceSwap は被写体間の顔を交換し、FaceRestoreCFWithModel は動画内の顔の詳細を修復または強化します。

  17. FILM VFI:フレーム補間を適用して動画の動きを滑らかにします。

  18. VHS_VideoCombine:処理済みのフレームを動画形式に再結合し、オーディオを追加して最終的な動画出力を完成させます。

  19. KSampler Adv. (Efficient):効率的な手法を使用して動画の視覚的品質を処理・精製する高度なサンプラーノードです。

  20. Efficient Loader:処理のためにモデルとデータを効率的に読み込み、ワークフローのパフォーマンスを最適化します。

  21. CR Apply Multi-ControlNet:動画処理パイプラインにおけるモーション分析と合成を強化するために、複数のコントロールネットを適用します。

このモデルで生成された画像

画像が見つかりません。