Partially Animate an Image

このワークフローはSD1.5を使用して画像を生成し、その後Grounding Dinoを用いて画像の特定部分をマスクしてAnimateLCMでアニメーション化します。16フレームをアニメーション化し、ループコンテキストオプションを使用してループする動画を作成します。動画生成時のKSamplerのノイズ除去値は0.8に設定されており、元の画像の構造の一部が保持されるようにしています。

参照: https://comfyworkflows.com/workflows/14d8d52b-1297-4d58-8469-2bdab4f5ebf1

必要なモデル:

1. お気に入りのSD1.5チェックポイント

2. AnimateLCMおよびLORA (https://huggingface.co/wangfuyun/AnimateLCM): LORAはmodels/lorasに、モデルはmodels/animatediff_modelsに配置してください

3. SAMモデル (Manager > Install Models、検索: SAM): sam_vit_b_01ec64.pth

4. Grounding Dinoモデル (自動的にダウンロードされます)

5. お気に入りのアップスケールモデル (Manager > Install Models、検索: upscale): 4x_NMKD-Siax_200k.pth

手順:

1. シアンのノードは、このワークフローに必要なモデルです

2. 青のノードは必須のユーザー入力です。このワークフローには3つのプロンプトが必要です。
   　a) 画像生成プロンプト: 画像全体で何を望んでいるかを記述してください。例: "山、川、雲"
   　b) GroundingDinoプロンプト: アニメーション化したい画像内の対象物を記述してください。例: "川"
   　c) 動画プロンプト: アニメーション化された対象物に何をしてほしいかを記述してください。例: "流れる川"

3. VRAMが不足している場合は、「Upscale Image (Using Model)」ノードを無効にできます。これにより、KSamplerへの入力解像度が256 x 256 x 16フレームに低下します。この設定で動作する場合は、「Upscale Image By」ノードも無効にすることで、解像度を512 x 512 x 16フレームにアップスケールできます。ノードを一切無効にしないオリジナルのワークフローでは、1024 x 1024 x 16フレームの動画が生成されます。低VRAMのGPUでテストを支援してくれたmojoflojoに感謝します。