Wan2.2 Animate FP8/16 and Quants

Wan 2.2 Animate!

Wan-Animateは、パフォーマーの動画を基に任意のキャラクターをアニメーション化し、パフォーマーの顔の表情や動きを正確に再現して、非常にリアルなキャラクター動画を生成できます。

Wan-Animateは、動画内のキャラクターをアニメーション化されたキャラクターに置き換え、表情と動きを保ちながら、元の照明および色調を再現することで、環境とのシームレスな統合を実現します。

以下のワークフローを推奨します：/model/1977608

https://humanaigc.github.io/wan-animate/

Wan Animate公式サイトより：

Wan-Animateは、キャラクターのアニメーション化と置換を統合的に実現するフレームワークです。キャラクター画像とリファレンス動画を与えると、Wan-Animateはリファレンス動画内のキャラクターの表情と動きを正確に再現して、高忠実度のキャラクタービデオを生成できます。また、アニメーション化されたキャラクターをリファレンス動画に統合して、元のキャラクターを置き換え、シーンの照明と色調を再現することで、環境とのシームレスな統合を実現します。Wan-AnimateはWanモデルを基盤として構築されています。キャラクターアニメーションタスクに適応させるために、生成用のリファレンス条件と領域を区別する修正された入力パラダイムを採用しています。この設計により、複数のタスクを共通のシンボリック表現に統一しています。空間的に整列されたスケルトン信号を使用して身体の動きを再現し、ソース画像から抽出した陰的顔面特徴を用いて表情を再現することで、高い制御性と表現力を持つキャラクタービデオを生成できます。さらに、キャラクター置換時の環境統合を強化するため、補助的なRelighting LoRAを開発しました。このモジュールは、キャラクターの外観の一貫性を保ちながら、適切な環境照明と色調を適用します。実験結果は、Wan-Animateが最先端の性能を達成することを示しています。我々は、モデルの重みとソースコードをオープンソース化することを約束します。