Wan2.2 animate Change character or background (long video)
詳細
ファイルをダウンロード
このバージョンについて
モデル説明
このワークフローは以下の2つの機能を実現できます。1つ目は、参照画像からキャラクターを生成し、参照動画のポーズをコピーしながら元の背景を保持することです。2つ目は、そのキャラクターを参照動画全体に置き換えて、同じ動作をさせるというものです。このアイデアをもとに、私はキャラクターの頭部だけを参照動画に置き換えるテストも行いましたが、現在その結果にいくつかの問題が残っています。良い解決策を見つけ次第、そのワークフローもリリースします。このワークフローの使用方法に関する重要な注意点は、以下の「ワークフローのテストと使用方法の説明」をご覧ください。
💻 すでにオンラインでワークフローを設定済みですので、すぐに効果を試すことができます ➡️ ワークフロー
🎁 ボーナス：初めて登録される場合、私のリンクと招待コード ➡️ rh-v1182 を使用すると、1,000コイン無料を受け取れます。さらに、毎日ログインすることで追加で100 RHコインがもらえます。
🚀 ワークフローのテストと使用方法の説明：
まず、eddy氏が複数のLorasをオープンソース化してくださったことに心より感謝します。これらのLorasをKJ氏のWan2.2 animateワークフローと組み合わせると、キャラクターの一貫性と動画の動きの両方で優れた性能を発揮します。特に、「lightx2v_elite_it2v_animate_face」にはすでにlightx2vの高速化機能が組み込まれているため、他の速度向上用Loraは不要です。このLoraは参照キャラクターの一貫性を維持するのに役立ちますので、強度値は1.0～1.2の範囲を推奨します。参照画像のキャラクターと高精度で一致させたい場合は、「WAN22_MoCap_fullbodyCOPY ED」の強度を0.35～0.5に設定することを推奨します。参照動画のキャラクターに近づけたい場合は、0.7～1の強度が適しています。
このワークフローはWan2.2モデルとSAMSegmentを読み込むため、VRAMを大きく必要とします。そのため、デフォルトでWanVideo Block Swapを有効化しています。私のテストでは、24GBのGPUで全体のワークフローを実行可能でした。ただし、よりスムーズな体験のために、RunningHubの48GB GPUの使用を推奨します。
異なる種類の参照動画に対応するために、ワークフローには2つのマスキング方法をプリセットしています。どちらか一方を選択してください。参照動画にキャラクターが1人だけいる場合は「シングルキャラクター用」グループを使用してください。複数のキャラクターが登場し、特定の領域のみをマスクしたい場合は「マルチロール用」グループを使用してください。
このワークフローは通常より長い動画を生成できますが、30秒を超える動画の生成は推奨しません。私のテストでは、20秒の動画で10秒付近からキャラクターの一貫性が低下し、色調もわずかに変化することが確認されました。これはコンテキストループ処理中の参照動画の影響によるものと考えられます。そのため、このワークフローで生成する動画は20秒程度に抑え、30秒を超えないようにすることを推奨します。30秒を超えると、予測不能な劣化や一貫性の大幅な損失が発生する可能性があります。
より詳細な手順については、ワークフロー内に記載されたノートをご覧ください。