AnimateLCM Image to Video Workflow (I2V)

導入

これは、AnimateLCM Image to Video が可能にするものを示すデモです。初期ビデオ生成のための AnimateLCM I2V パスの後、Cseti の一般的なモーション LoRA を使用して AnimateLCM T2V で2回目のパスを実行し、32フレームにわたる詳細を整え、一貫性を確保しています。IPAdapter を使用して、生成結果を元の画像に忠実に保っています。

このワークフローでは、各入力画像に対して設定を調整しなければ、品質の高いビデオ出力を得られません。また、この出力ビデオは、オンラインで提供される画像から動画への変換サービスほど動きが大きいわけではありません。ビデオは約2秒（30FPS）に制限されています。

CogVideoX（16GB VRAM 用）

CogVideoX を実行するのに十分なVRAMがない場合にのみこのワークフローを使用してください。VRAM（16GB）が確保できる場合は、kijai の CogVideoX ラッパー ノード（https://github.com/kijai/ComfyUI-CogVideoXWrapper/）をインストールし、examples フォルダ内の I2V ワークフローを読み込んでください。VRAM 使用量を削減するには：(Down)load CogVideo Model ノードで fp8 transformer を有効にし、CogVideo Decode ノードで vae_tiling を有効にしてください。

ノード

赤：ユーザーがモデルをダウンロードまたは選択する必要がある

青：ユーザーが設定を変更したり、入力画像を提供する必要がある

茶色：ワークフローの注意点です。使用中に丁寧に読んでください。

カスタムノード（マネージャーでインストール）

• ComfyUI Frame Interpolation

• ComfyUI_IPAdapter_plus

• AnimateDiff Evolved

• ComfyUI-VideoHelperSuite

• ComfyUI Essentials

• KJNodes for ComfyUI

• ReActor Node for ComfyUI（オプション）

必要なモデル

• Cseti の一般的なモーション LoRA（models/animatediff_motion_lora）：https://huggingface.co/Cseti/General_motionLoRA_32fr_sd15_ad2_v1

• https://huggingface.co/wangfuyun/AnimateLCM

  • AnimateLCM_sd15_t2v.ckpt（models\animatediff_models）

  • AnimateLCM_sd15_t2v_lora.safetensors（models\loras）

• https://huggingface.co/wangfuyun/AnimateLCM-I2V

  • AnimateLCM_sd15_i2v.ckpt（models\animatediff_models）

  • AnimateLCM_sd15_i2v_lora.safetensors（models\loras）

• https://huggingface.co/guoyww/animatediff/tree/cd71ae134a27ec6008b968d6419952b0c0494cf2

  • v3_sd15_adapter.ckpt（models\loras）

• マネージャーでダウンロード

  • ip-adapter-faceid-plusv2_sd15_lora.safetensors

  • ip-adapter-plus_sd15.safetensors

  • CLIPVision モデル（IP-Adapter）CLIP-ViT-H-14-laion2B-s32B-b79K