WanAnimate

Wan 2.2 Animate!

Wan-Animateは、パフォーマーの動画をもとに、任意のキャラクターをアニメーション化し、パフォーマーの表情や動きを正確に再現して、非常にリアルなキャラクター動画を生成できます。

Wan-Animateは、動画内のキャラクターをアニメーション化されたキャラクターで置き換え、表情や動きをそのまま保ちながら、元の照明と色調も再現し、環境とのシームレスな統合を実現します。

モデルはこちら：/model/1974861?modelVersionId=2235335

https://humanaigc.github.io/wan-animate/

Wan Animateウェブサイトより：

私たちは、キャラクターのアニメーション化と置換を統合的に実現する「Wan-Animate」を紹介します。キャラクター画像と参照動画を入力すると、Wan-Animateは参照動画内のキャラクターの表情と動きを正確に再現し、高忠実度なキャラクター動画を生成できます。また、アニメーション化されたキャラクターを参照動画に統合して、元のキャラクターを置き換え、シーンの照明と色調を再現することで、環境へのシームレスな統合を実現します。Wan-AnimateはWanモデルを基盤として構築されています。キャラクターアニメーションタスクに適応させるために、生成用の参照条件と領域を区別する修正された入力パラダイムを採用しています。この設計により、複数のタスクを共通の記号的表現に統一しています。空間的に整列されたスケルトン信号を用いて身体の動きを再現し、ソース画像から抽出された陰的顔面特徴を用いて表情を再演することで、高い制御性と表現力を備えたキャラクター動画を生成できます。さらに、キャラクター置換時の環境統合を強化するために、補助的な「Relighting LoRA」を開発しました。このモジュールは、キャラクターの外観の一貫性を保ちながら、適切な環境照明と色調を適用します。実験結果は、Wan-Animateが最先端の性能を達成していることを示しています。私たちは、モデルの重みとソースコードをオープンソース化することを約束します。