Wan2_2_Animate_14B_Q8_0.gguf | KiJai

Hugging Face から転送

https://huggingface.co/Kijai/WanVideo_comfy_GGUF/tree/main/Wan22Animate

これは Wan2.2-Animate モデルの GGUF バージョンです。ワークフローのサンプルは fp8 バージョンと同じで、Wan2_2-Animate-14B_fp8_e5m2_scaled_KJ.safetensors モデルをこの GGUF バージョン（gguf ローダーを使用）に置き換えるだけです。
ワークフローのサンプル: https://www.runninghub.ai/post/1969068684759212034

（このワークフローは KJ の Discord から取得したもので、まだ実験段階であり完璧ではありませんが、ご自身で試すことはすでに可能です。）

---

機能概要
Wan-Animate は、パフォーマーの動画に基づいて任意のキャラクターをアニメーション化し、パフォーマーの顔の表情や動きを正確に再現することで、非常に現実的なキャラクター動画を生成できます。

Wan-Animate は、動画内のキャラクターをアニメーション化されたキャラクターに置き換え、表情と動きを保持しながら、元の照明と色調も再現することで、環境へのシームレスな統合を実現します。

概要
本研究では、キャラクターのアニメーション化と置換を統合するフレームワーク「Wan-Animate」を提案します。キャラクター画像と参照動画が与えられたとき、Wan-Animate は参照動画内のキャラクターの表情と動きを正確に再現することで、高品質なキャラクター動画を生成します。また、アニメーション化されたキャラクターを参照動画に統合して元のキャラクターを置き換え、シーンの照明と色調を再現することで、環境へのシームレスな統合を実現します。Wan-Animate は Wan モデルを基盤として構築されており、キャラクターアニメーションタスクに適応させるために、参照条件と生成領域を区別する修正された入力パラダイムを採用しています。この設計により、複数のタスクを共通のシンボリック表現に統一しています。身体の動きを再現するために空間的に整列したスケルトン信号を使用し、ソース画像から抽出された暗黙的な顔特徴を用いて表情を再現することで、高い制御性と表現力を備えたキャラクター動画を生成できます。さらに、キャラクター置換時の環境統合を向上させるために、補助的な Relighting LoRA を開発しました。このモジュールは、キャラクターの外観の一貫性を維持しながら、適切な環境の照明と色調を適用します。実験結果は、Wan-Animate が最先端の性能を達成することを示しています。我々は、モデルの重みとソースコードをオープンソース化することを約束します。