bTeam + IPAdapter + HotShotXL + Lightning + ControlNet

Latent Visionの「重みスケジューリングとIPAdapterを用いたアニメーション」チュートリアルをもとに、SDXLとHotShotXL用に更新・最適化したものです。まずそちらを視聴してください。

QRMonsterモデルは大きすぎるため、CannyとDepth Smallに置き換えることで、VRAMを節約しつつ類似の結果を得られます。また、HotShotXLのf16バージョンを使用すると、さらにVRAMを節約できます。節約したVRAMにより、レンダリング解像度を上げることができます。16GBのVRAMで、私は1280x720で生成し、ハイレゾフィックス（2倍→0.65）で2回目のレンダリングを1664x936まで行えます。IPAdapterを使用しない場合、さらに高い解像度でのレンダリングも可能でした。VRAMがより多い場合、さらに進めたレンダリングが可能でしょう。

2回目のパスにFreeIntを追加したり、設定を変更したい場合に備えて、Animatediffノードの2番目のセットを用意しています。コンテキストオーバーラップを調整することで、一貫性を多少犠牲にして速度を上げることができます（両方の設定が同一であることを確認してください）。コントロールネットを無効にして、画像のみを使用することも可能です。テキスト画像を動画に置き換えてvid2vidにも簡単に適用できます。サンプラーを試してみてください。私の場合、ほとんどのチェックポイントで「Ancestral Normal」が最も効果的でした。

注意：2回目のパスに移行する際に、よくメモリ不足エラーが発生しますが、再キューすれば通常そのまま続行できます。