Video Style Transfer (AnimateLCM, IPAdapter, Controlnet)
詳細
ファイルをダウンロード
モデル説明
これは、写真から動画へスタイルを転送するためのvid2vidワークフローです。
このワークフローは、次のアイデアを基にしています：/model/372584/ipivs-morph-img2vid-animatediff-lcm
必要なモデル
お気にいりのSD1.5チェックポイント。models/checkpointsフォルダに配置してください。
ControlNet。control_v11p_sd15_lineart_fp16.safetensors。マネージャーを使用してインストールし、「controlnet」と検索してください。
AnimateLCM。https://huggingface.co/wangfuyun/AnimateLCM AnimateLCM_sd15_t2v_lora.safetensorsをダウンロードし、models/lorasフォルダに配置してください。AnimateLCM_sd15_t2v.ckptをダウンロードし、models/animatediff_modelsフォルダに配置してください。
IPAdapterモデル。オプションを変更しても動作するよう、必要以上にインストールすることをお勧めします。エラーが発生した場合は、不足しているモデルを正確にインストールする必要があります。
CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors および CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors。マネージャーを使用してインストールし、「clip」と検索してください。
ip-adapter_sd15.safetensors、ip-adapter_sd15_light.safetensors、ip-adapter_sd15_vit-G.safetensors、ip-adapter-plus_sd15.safetensors。マネージャーを使用してインストールし、「ipadapter」と検索してください。
ワークフローの使い方
ワークフローを読み込み、マネージャーを使って不足しているカスタムノードをインストールしてください。ComfyUIを再起動します。
茶色のノードは読み込む必要があるモデルです。青色のノードはユーザーが入力する必要があります。
ロードビデオノードに動画を読み込んでください。動画が横長の場合は、force_sizeを ?x512 に設定してください。ワークフローをテストするには、frame_load_capを32に設定して、動画の最初の32フレームのみを使用してください。全動画を使用するには、frame_load_capを0に設定してください。
スタイルを転送したい4枚の画像を読み込んでください。
CreateFadeMaskAdvanceノードのフレームを編集してください。スタイルを適用し始めるフレームと、適用を終えるフレームを決定する必要があります。スタイルを適用する前のフレームと、適用を終えた後のフレームではマスクを0に設定し、スタイル適用を開始・終了するフレームでは値を1.0に設定してください。たとえば、フレーム90から135にスタイルを適用したい場合、次のように設定してください：89:(0.0), 90:(1.0), 135:(1.0), 136:(0.0)
必要に応じてプロンプトを入力してください。
動画に応じてControlNetを調整してください。私は芸術的な画像からスタイルを転送したいので、lineartを使用しています。