VACE FLF2V for Looping, Morphing and Whatnot

詳細

ファイルをダウンロード

モデル説明

短い動画を生成するのに何が不満か知ってる?そうだ、すべてだ。見物にならない。でもVACEはかなり素晴らしい。ギャップを埋めるのに最適だ。ピンポン方式では限界がある。それに、適切な状況で使おうとする人もほとんどいない。

開始フレームを選んで、終了フレームを選んで、ボタンを押すだけ。

フレームには画像を使えるし、スイッチを切り替えて既存の動画の開始・終了フレームを取得することもできる。Florenceオートプロンプティンググループを使えば、両端のいずれか、あるいは補間された中間点からプロンプトを生成できる。後者は画像の差が大きすぎるとぼやけた雑な結果になるが、近い場合は役立つ。モーションやスピードに関するプロンプトは別ボックスに追加でき、Florence出力と連結される(Florenceはそれらを提供しないからだ)。手動でプロンプトを入力する場合は、すべて通常のボックスにまとめて入れられる。

アップスケーリング、補間、顔修復のグループも用意されている。

各グループの使い方については、詳細なノートを記載してある。

重要なセクションには、近くに必ず注意書きを付けてある。保証する。

動画と画像の入力を混ぜない限り、ノードの接続をいじる必要はない。目的の出力に関して、本当に調整すべきなのはLoRaの重み(モデル/CLIPの重みは個別に調整可能)とVACEの強度だけだ。通常の組み合わせ地獄と比べれば、とても優れている。ちなみに、これは異常に高速だ。Sage Attentionが助けになる(怖いなら無効にしてもいいが)、それなしでも依然としてとんでもなく速い。704x1280で61フレームの遷移を生成するのに、私は約6分かかる。これは14Bの480pモデルで非常に良い結果になる。半分に減らしてアップスケールすることもできるが、品質は全然落ちる。720pモデルの品質は、追加の時間を費やす価値があるとは思えない。まだだけど。

自動化側にはまだ実装すべきことが多いが、それ以上にブールスイッチを増やすと、他の人が使いにくくなるので、このまま公開する。自動で3〜6フレームのクロスディゾルブを試してみたい。これでまだ残る色の問題を改善できるはず(今はそれほどひどくないが)。もちろんチェインングもある。他のWFで見たことがあって、どれもひどく使いづらかったし、私はまったく成果が得られなかった。どうなるか見てみよう。

このワークフローは、comfyuiテンプレートにあるVACEの基本チュートリアルをベースにしている。

主要なモデルはリンク済みで、あとは自分で理解できるはずだ。

*元の投稿されたWFにはreActorグループにエラーがあり、早期に処理が停止する可能性があった。それを修正した。また、フレームセレクターにスライダーを追加し、頭の中で計算する必要がなくなった。この用途に適した増分値に設定してある。2番目の画像セットは常にn-2で、これは裏で自動的に処理されている。

このモデルで生成された画像

画像が見つかりません。