Wan Join Clips

更新：

このワークフローと新しいLightx2v LoRA（https://huggingface.co/Kijai/WanVideo_comfy/blob/main/Wan21_T2V_14B_lightx2v_cfg_step_distill_lora_rank32.safetensors）を使用したところ、非常に良い結果を得ることができました。このLoRAとその開発経緯についての詳細は、こちらをご覧ください（/model/1585622/self-forcing-causvid-accvid-lora-massive-speed-up-for-wan21-made-by-kijai）。その解説では、この新ツールを利用するには複雑なワークフローが必要だと示されていますが、私の経験では追加のノードなしでも非常に良好に動作します。使用するには、以下の3つの手順のみが必要です：

1. 設定エリアにあるLoRAローダーノードにLoRAを追加する。
2. CFGを1.0に変更する。
3. ステップを4〜20の範囲で適当な値に変更する。私は10ステップを使用していますが、結果は非常に良好です。

このLoRAを使用してもVRAMの使用量は一切変化せず、動画の生成が格段に速くなりました。そのスピードの速さゆえ、3秒のトランジション時間を5秒に伸ばしても、動画に5秒分の新規素材を追加でき、結果は依然として以前よりずっと高速です。

このワークフローは、WanとVaceを使用して、2つの動画クリップをスムーズなトランジション動画で接続し、トランジションの両側の動きを自然に融合させます。その結果、単純な「最後のフレームから動画を拡張」する方法では生じる不自然な動きの変化なしに、3段階の動画が生成されます。

このワークフローの重要な貢献者は、pftqです。彼が作成したシームレスな動画拡張ワークフローが、この機能の存在を私に教えてくれ、このバージョンの構築に必要な土台を提供してくれました。pftqのワークフローはKijaiのWan Wrapperノードを使用していますので、すべてのオプションやアドオンを活用するためにWrapperノードを使用したい場合は、ぜひpftqのワークフローを試してみてください。このワークフローでは、Wan処理にComfyUIのネイティブノードのみを使用しています。

このワークフローの目標の一つは、可能な限りプロセスを自動化することでした。Vaceがギャップを埋めるには、まず適切な場所にマスクを適用した2つのカスタム動画を生成する必要があります。これは、便利な編集ソフトウェアがなければ非常に手間がかかりますが、シンプルな拡張マスクは、ComfyUIといくつかのカスタムノードの助けを借りて実現できます。このワークフローは、その取り組みの成果物です。

ワークフローは大きく見えますが、すべてのモデルが正しく読み込まれ、動画保存パスがお好みの設定になっているならば、上部左側の3つのグループのみを使用すれば十分です。開始と終了のクリップを設定し、ステップなどの他の値を調整して、ワークフローを実行し、出力を確認するだけです。マスク作成、リサイズ、フレーム補間／スムージングはすべて自動化されています。

すべての機構は公開されており、複雑なノード接続が多すぎないように整理されています。お好きな部分は自由にカスタマイズしてください。モデルサンプリングシフト値など、いくつかの設定は内部に隠れており、調整したい場合があるかもしれません。

私の環境では、ここに記載されたデフォルト値を使用した場合、16GB VRAMのGPUカードで、共有GPUメモリやブロックスワッピングなしにこのワークフローを読み込み、実行できます。通常は安定して14.2GBを消費しますが、環境によって結果は異なります。

お楽しみいただければ幸いです。