Singing Avatar (Live Portrait, Mimic Motion, AnimateLCM)
詳細
ファイルをダウンロード
このバージョンについて
モデル説明
このワークフローでは、Mimic Motionを使用して頭部のポーズを生成します。背景は静止画像に置き換えられ、ReActorを使用して顔のスワップを行い、AnimateLCMパス上で差分ダイフュージョンを適用して背景をアニメーション化し、シンガーのクリーンアップを行います。その後、Live Portraitを使用して唇および/または目の動きを転送します。
ComfyUIバージョン
このワークフローはComfyUI v0.21でテスト済みであり、マネージャーからカスタムノードをインストールする際にパッケージの競合は発生しません：https://github.com/comfyanonymous/ComfyUI/releases/tag/v0.2.1
ノード
赤色のノードは、ワークフローでダウンロードして選択する必要があるモデルです。
青色のノードは、ユーザー入力が必要なノードです。
以下のカスタムノードは、ComfyUIマネージャーでのインストールを推奨します。ReActorノードのGitHubページの手順に従ってinsight faceをインストールする必要があります：https://github.com/Gourieff/comfyui-reactor-node?tab=readme-ov-file#troubleshooting
- ComfyUIのControlNet補助プリプロセッサ
- ComfyUI フレーム補間
- AnimateDiff Evolved
- ComfyUI-VideoHelperSuite
- ComfyUI用ReActorノード
- ComfyUI Essentials
- KJNodes for ComfyUI
- ComfyUI-MimicMotionWrapper
- ComfyUI-LivePortraitKJ
- Crystools
モデル
手動でダウンロードし、フォルダーに配置
AnimateLCM: https://huggingface.co/wangfuyun/AnimateLCM AnimateLCM_sd15_t2v.ckptを「models/animatediff_models」に、AnimateLCM_sd15_t2v_lora.safetensorsを「models/loras」に配置
SD1.5チェックポイント：お好みのSD1.5チェックポイントを使用できます。私はRealistic Visionを使用しています。
ComfyUIマネージャーでダウンロード
- control_v11p_sd15_openpose.safetensors
- control_v11f1p_sd15_depth_fp16.safetensors
自動ダウンロード
- MimicMotion
- ReActor