Tik Tok Dance Workflow (Mimic Motion + Animate Diff)

ダウンロード用バージョン

v3.1は、VRAMが16GBのユーザー向けにこのワークフローのマイナーアップデートです。このバージョンでは、ダンス動画全体を1つのワークフローで生成します。

v4.0は、VRAM使用量を12GBに抑えるためにワークフローを5つの部分に分割しています。これにより、より多くのユーザーがこのワークフローを利用できるようになることを期待しています。

ComfyUIバージョン

このワークフローはComfyUI v0.21でテスト済みであり、マネージャーからカスタムノードをインストールしてもパッケージの競合は発生しません：https://github.com/comfyanonymous/ComfyUI/releases/tag/v0.2.1

はじめに

このワークフローは、Mimic Motionを使用してキャラクターの動きを生成し、AnimateDiffを使用して背景の16フレームループ動画を作成します。その後、Grounding Dinoを使用してキャラクターと背景を合成します。カメラが静止しており、すべての動きがダンサーによって行われるドライビング動画と組み合わせて使用するのが最適です。

このワークフローの目的は、両モデルの長所を活用して、できるだけ一貫性の高い動画を作成することです。

制限事項

上記の動画を見ると、ダンサーが髪と相互作用する部分が正しくアニメーションされていないことに気づくでしょう。これは、Mimic MotionがOpen Pose情報のみを入力としているためです。深度情報も使用すれば、髪との相互作用は正しくアニメーションされます。

ノード

ノードは色分けされています：

• 赤：これらのモデルはダウンロードして対応するフォルダーに配置する必要があります。ダウンロード後、ComfyUIを更新し、正しいモデルが選択されていることを確認してください。

• 緑：これらのノードは自動的にダウンロードされます。

• 青：これらはユーザー入力です。元のダンス動きを含む動画、またはプロンプト/設定のいずれかです。

• 茶：これらはワークフローの動作を説明するコメントです。

欠落しているノードは、ComfyUIマネージャーを使用してインストールしてください。このワークフローで使用されるカスタムノードは以下の通りです：

• ComfyUI Impact Pack

• ComfyUI's ControlNet Auxiliary Preprocessors

• ComfyUI Frame Interpolation

• AnimateDiff Evolved

• ComfyUI-VideoHelperSuite

• ReActor Node for ComfyUI

• rgthree's ComfyUI Nodes, ComfyUI Essentials

• ComfyUI-MimicMotionWrapper

• segment anything

• Comfyui lama remover

モデル

一部のモデルは自動的にダウンロードされ、一部はComfyUIマネージャーでダウンロードされ、他の一部は手動でダウンロードして対応するフォルダーに配置する必要があります。

• AnimateLCM: https://huggingface.co/wangfuyun/AnimateLCM AnimateLCM_sd15_t2v.ckptを「models/animatediff_models」に、AnimateLCM_sd15_t2v_lora.safetensorsを「models/loras」に配置してください。

• SD1.5チェックポイント：生成する動画のタイプ（リアル/アニメ）に応じてお好きなものを使用できます。私はリアルな生成を目指しているため、Realistic Visionを使用しています。

• control_v11p_sd15_openpose.safetensors：ComfyUIマネージャーでダウンロードしてください。

• MimicMotion、Segment Anything、Grounding Dino、ReActorモデルは自動的にダウンロードされます。

• insightfaceのインストールで問題が発生した場合は、トラブルシューティングのセクションの手順に従ってください：https://github.com/Gourieff/comfyui-reactor-node