Video Object Replacement

イントロダクション

このワークフローは、Segment Anything v2を使用して、置き換える元の動画の部分をセグメンテーションします。その後、VAEでエンコードされた動画をKSamplerに渡す前に、_Set Latent Noise Mask_ノードを使用します。

IPAdapterで使用する参照画像と、新しいオブジェクトの生成を導くプロンプトを提供します。深度ControlNetは、置き換えるオブジェクトの形状に関するガイドとして使用されます。

モデル

SD1.5 Checkpoint：LCMチェックポイントを使用しているため、AnimateLCM LoRAは必要ありません。お気に入りのSD1.5チェックポイントを使用できます。/model/4384?modelVersionId=252914
AnimateLCM_sd15_t2v.ckpt：https://huggingface.co/wangfuyun/AnimateLCM/tree/main からダウンロードし、models/animatediff_modelsに配置してください。
control_v11f1p_sd15_depth_fp16.safetensors と depth_anything_v2_vitl.pth：Managerを使用してダウンロードしてください。
IPAdapter PLUS：ComfyUI Managerを使用して ip-adapter-plus_sd15.safetensors をダウンロードしてください。また、ViT-H および ViT-G clip_vision モデルも ComfyUI Manager でダウンロードしてください。
SAM2モデルは自動的にダウンロードされます。

カスタムノード

Managerでインストール：