Wan2.2+14B+Sage + TorchCompile + LLM AutoPrompt Workflow

詳細

ファイルをダウンロード

モデル説明

このComfyUIワークフローは、単一の画像から動画を生成する(画像→動画)ための洗練されたパイプラインです。コアの動画合成にはWan2.2 14Bモデルを活用しています。ワークフローは、パフォーマンスと創造的な制御のためにいくつかの高度な機能を備えています。

重要な特徴の1つは、LLM AutoPromptノードの統合です。これにより、動画生成プロセスをガイドするための詳細でダイナミックなプロンプトが自動生成されます。ワークフローには、Sage AttentionTorch Compileという高度な最適化手法も組み込まれています。_Sage Attention_は、特に高解像度動画生成に有効なより効率的で安定したアテンションメカニズムを提供し、_Torch Compile_はPyTorchコードをより最適化された形式にコンパイルすることで、モデルの実行速度を大幅に向上させます。

このワークフローは、ユーザーが提供した画像から始まり、LLMが画像の内容に基づいて記述的なプロンプトを生成します。その後、この生成されたプロンプトと初期画像をWan2.2モデルに入力し、最終的な動画出力を生成します。

使用推奨事項

このワークフローを効果的に使用するには、以下の推奨事項に従ってください:

  • 入力画像:目的の開始画像を指定された「LoadImage」ノードに読み込んでください。このワークフローは静的画像をアニメーション化することを目的としていますので、明確で定義された被写体が最も良い結果をもたらします。

  • LLM AutoPrompt:LLM AutoPromptノードは、動画の物語やアクションに影響を与えるテキストプロンプトを自動生成するように設定されています。system_msg入力を変更することで、LLMの動作をカスタマイズし、生成されるプロンプトのスタイルや内容をガイドできます。より直接的な制御が必要な場合は、LLMをスキップして自分で記述的なプロンプトを入力することも可能です。

  • モデルとパフォーマンス設定

    • このワークフローは事前にWan2.2 14Bモデルを使用するように設定されています。正しいモデルファイルがComfyUIのmodels/unetディレクトリにダウンロードされ、配置されていることを確認してください。

    • Sage AttentionTorch Compileはデフォルトで有効になっており、パフォーマンスを最適化します。ほとんどのユーザーにとって、デフォルト設定は速度と品質のバランスが良好です。問題が発生した場合は、これらのノードを無効に試すことができますが、生成時間が大幅に長くなることをご理解ください。

  • 出力:最終出力は動画ファイルです。「VHS_VideoCombine」ノードで、動画の寸法、フレームレート、その他のパラメータを調整して、ご自身のニーズに合わせてください。

このワークフローは、自動化された創造的なプロンプティングを活用して静的画像から高品質な動画コンテンツを作成したいユーザーに最適であり、さらに高度なパフォーマンス最適化も活用できます。

ワークフローで使用されている珍しいノード:

https://github.com/city96/ComfyUI-GGUF

https://github.com/pollockjj/ComfyUI-MultiGPU

このモデルで生成された画像

画像が見つかりません。