RotoMaker - with Rotoscope tools
詳細
ファイルをダウンロード
モデル説明
RotoMaker V3 - 更新
新しいワークフローを追加。前景動画レイヤーと背景動画レイヤーを追加し、被写体を背景よりも少ないフレーム数でループさせることができます。詳細は動画で完全に解説されています :D この機能により、完全にアニメーション化されたシーンを作成できます。前景オフセットオプションも利用可能です。
(注意:これはInsightFaceの実装用に構築され、研究用/非営利ライセンスでした。現在、新たにオープンソースの実装が登場しており、今後のバージョンではこの実装を活用します。)
V2
RotoMaker-Studio
- RotoMakerのすべてを統合したバージョン
- CNET付き特別なSDXL Trio txt2imgを含む
- フレーム同期を維持するため、30 FPSに設定してください。
[オプションツール]
顔モデルの作成
- 画像を追加し、ステージ2で使用するための顔モデルを保存
フレームダンパー
- Mimic Motionのドライビング動画をフレームシーケンスにエクスポートし、Trio CNET、ステージ0で使用
ビデオジョイナー
- ステージ3用に、分割された動画クリップを順番に結合して1本の動画に
[メインワークフロー]
0: TRIO
- 特別なSDXL CNET txt2imgワークフロー
- ドライビング動画のフレームを使用
- SDXL Hyper付きLoraスタックローダー
- 白背景のRotoマットで、Mimic Motion用に画像を準備
1: アニメーション
- 白背景でMimic Motionを使用して、ドライビング動画で画像をアニメーション化
- (PATH)ローダーで大容量動画の利用が可能
- ドライビング動画を1:1、1024x1024にクロップすることを推奨
- 自動ロトスコープ/マット
- 出力形式:MP4、GIF、PNGシーケンス
2: マスク付きフェイススワップ
- 選択したクリップ(結合済み動画)を読み込み
- 読み込んだ顔モデルを使用し、顔のオクルージョンマスクでフェイススワップ
- 自動ロトスコープ/マット
- 出力形式:MP4、GIF、PNGシーケンス
初期リリース動画:
RotoMakerは、以前のリリースであるLoki-LivePortrait、Loki-MimicMotion、Loki-FaceSwap、Roto Basicをベースにカスタマイズしたワークフローのセットです。
これにより、ビデオからビデオへのワークフローを段階的にチェーン化できます。動画による説明も提供されています。
マネージャーメニューを使用して、ワークフロー間でモデルをアンロードすることでメモリを節約できます。
LivePortraitおよびMimic Motionのインストールに関する詳細は以下をご覧ください:
/model/539936/loki-live-portrait-fastest-face-swap-batch-modes
各ワークフローで同じプロジェクト名を使用してください。
ステージ1:ドライビング動画と任意の画像を使用してアニメーション化
ステージ2:顔モデルを使用してフェイススワップ動画を作成
ステージ3:LivePortrait(静止画のみ)
ステージ4:被写体をGIF、MP4、PNGシーケンスとしてロトスコープ
すべてのファイルは自動的に以下の構造に整理されます。
例:プロジェクト名 = "rotoMaker-chain005"