ipiv's SDXL Lightning text2img2vid SD1.5 AnimateDiff LCM

このワークフローでは、SDXL Lightningで生成された画像を参照画像として使用し、SparseCtrl + IPAdapterを活用してSD 1.5 AnimateDiff LCMによるビデオ生成をガイドします。
AnimateLCMとSDXL Lightningを組み合わせることで、txt2img → img2vidのアニメーションを驚異的な速さで生成できます。

プレビュー画像や参照画像に対して満足できる結果が得られるまで、アップスケーリングプロセスを無効またはバイパスすることをお勧めします。（または、SDXL参照グループ全体を無効にして独自の画像を読み込むこともできます。）
また、SparseCtrlまたはIPAdapterのいずれか一方をバイパスして実験することも可能です。（参照画像やアニメーションの内容によって、一方または両方をバイパスした方がより良い出力が得られる場合があります。）

このワークフローで使用するモデル：

1. AnimateLCM LoRA & モーションモジュール

2. Dreamshaper SDXL Lightning（またはLightning LoRAと組み合わせた任意のSDXLチェックポイント）

3. Photon（または任意のSD1.5チェックポイント）

4. SparseCtrl rgb（Comfy Managerで利用可能）

5. IP-Adapter（Comfy Managerで利用可能）

6. IP-Adapter用Clip vision（Comfy Managerで利用可能 - CLIP-ViT-H-14-laion2B-s32B-b79K）