SteadyDancer: one portrait + one pose sequence (skeleton) → generates a smooth, identity-consistent,
詳細
ファイルをダウンロード
モデル説明
このワークフローは、単一の参照画像とポーズ動画のスケルトンを組み合わせて、SteadyDancerを使用して滑らかでアイデンティティの一貫した動きを生成します。従来のポーズから動画へのシステムは、特にスタイル化されたまたは異常な体の比率を持つ場合、歪みを引き起こすことが多かったですが、SteadyDancerはキャラクターをスケルトンに合わせて伸縮させません。このモデルは、アイデンティティを参照フレームに固定し、Wan2.1の高速化されたi2vバックボーンが動きを生成することで、最初の動画フレームが元の画像を完全にコピーすることを保証します。これにより、誇張された比率を持つキャラクターやロボット、アニメーションの体にも効果的で、ジオメトリをポーズに過度に適合させることなく、自然な動きを実現します。
実際には、出力の品質は主にスケルトン動画のリアリズムと、スタイルや想像的な詳細を導くために使用されるプロンプトに依存します。ポーズの影響が強すぎると、極端な横回転での追跡が低下する可能性がありますが、モデルは依然として比率を安定させます。SD-Poseでテストした結果、追跡の限界は不正確なスケルトンによるものではなく、極端な動き自体の難しさによるものであり、アイデンティティは保持されていることが示されています。リアリスティックな出力は動きに密着し、スタイル化された出力も同様に適応します。参照画像に下半身の情報が欠けていても、欠けた体の部分を補完します。数秒の短い動きクリップに対して、SteadyDancerは、リアリスティックなキャラクターとスタイル化されたキャラクターの両方に適した、信頼性が高く視覚的に一貫したアニメーションパイプラインをすでに提供しています。
