Unlimited length I2V (Framepack + LoRA support !)

Ez4MEz4M
68
1.5K
ツールimg2videoi2vframepack
v0.3 LoRAv0.2v0.1

詳細

ファイルをダウンロード

モデル説明

無制限長さ I2V — ComfyUIワークフロー

ComfyUI のための 無制限長さ I2V ワークフローへようこそ。このワークフローは FramePack システムを活用して、過去のHunyuaiやWanの実装で96フレームまでしか対応していなかった制約を突破し、実質的に無限の長さ（フレーム数）の動画を生成します。
たった数週間前まで、このような出力は不可能でした。今や、数つのノードを組み合わせるだけで実現可能です。

⚠️ これは最初の動作するドラフトです。まもなく大幅な改善が予定されています（下記を参照）。

🚀 何ができるか

このワークフローは FramePack を使用して、長く一貫したシークエンスの画像から動画（I2V）生成を行います。元のFramePack I2Vアーキテクチャと、ComfyUIのモジュラリーな柔軟性、およびネイティブモデルのサポートを組み合わせることで、従来のフレーム数制限を超え、画像にアニメーションを付与する新たな創造的可能性を開きます。

現在の機能：

  • 実験的LoRA対応！

  • 入力画像を自動的にサポートされる最も近いフォーマットにリサイズ

  • 最終フレーム対応

  • 任意の入力解像度を受け入れ（最も近い有効解像度に丸められます）

  • LLMによる画像説明の利用

  • Teacacheの利用

ワークフロー内では、各設定に直接注釈を付けて説明しています。使用中はこのページを開いたままにする必要はありません！

🔧 必要依存関係

このワークフローを実行するには、以下が必要です：

  • fp16およびbf16をサポートするNvidia GPU（RTX 30XX、40XX、50XXシリーズ）。GTX 10XX/20XXシリーズは未検証です。

  • 6GBのVRAM（はい、たったそれだけ！ノートPCでも動作可能です！）

🧩 必須ComfyUIカスタムノード

  • KijaiのComfyUI用FramePackラッパー
    ➜ https://github.com/kijai/ComfyUI-FramePackWrapper
    現在、ComfyUIのインターフェースから直接インストールできません。Manager > Git URL経由でインストール > https://github.com/kijai/ComfyUI-FramePackWrapper.git でインストールしてください。
    LoRA対応：「dev」ブランチが必要です。現時点でGUIでは設定できません。PowerShell（Linuxではbash）を開き、ComfyUI/custom_nodesに移動して「git switch dev」+「git pull」を実行してください。

📦 モデルおよびリソースのダウンロード

1. ネイティブモデル（テキストエンコーダ、VAE、sigclip）：

2. Transformer（FramePack）モデル：

  • 🧠 自動ダウンロード（推奨）：
    HuggingFace：lllyasviel/FramePackI2V_HY
    ➜ 保存先：ComfyUI/models/diffusers/lllyasviel/FramePackI2V_HY

  • 🧠 手動ダウンロード（単一safetensorsファイル）：
    保存先：ComfyUI/models/diffusion_models/

☕ オプション機能：Teacache

Teacache は、扩散モデルの途中計算状態をキャッシュするスマートなシステムです。これにより、繰り返しの調整や類似入力での複数動画セグメント生成時に、生成時間が劇的に短縮されます。

ワークフローには、メモリの可用性や速度優先か完全な新規生成優先かに応じて、Teacacheのオンオフを切り替えるスイッチが備わっています。

Teacacheによるスピードアップ：繰り返し実行時に最大2倍の高速化

更新情報

このワークフローのv0.1またはv0.2を使用していた場合、kijai/ComfyUI-FramePackWrapperを「dev」ブランチにアップデートする必要があります。
ComfyUI/custom_nodes/ComfyUI-FramePackWrapper に移動し、PowerShellまたはBashで以下のコマンドを実行：

  • git switch dev

  • git pull

この操作にはgitが必要です。

LoRA対応は現時点では非常に実験的です。HunYuan動画LoRAのみ使用可能であり、効果はかなりランダムです。その理由は、これらのLoRAが元の制約により非常に短い動画で学習されたため、FramePackで生成される高フレーム数動画に影響が出るからです。将来的に改善を試みます（これはワークフローの制限ではなく、元のFramePack実装の制限です）。

⚡ ベンチマーク結果

私の「古い」RTX 3090でテスト：

  • 解像度： 704x544

  • 長さ： 150フレーム

  • 生成時間： 11分

別のテスト：

  • 384x448、600フレームを15分で生成

オリジナルプロジェクトでは、RTX 4090デスクトップで、最適化前は1フレームあたり2.5秒、Teacache使用時は1.5秒で生成可能とされています。

🧪 現在のステータス

このリリースは第2版ドラフトです。ほぼ動作しており、「要点に絞った」構成になっています。
また、これは私がCivit.aiに投稿する初めてのワークフローです。コメントは優しくお願いします。

次回の改善予定：

  • アップスケーリング（まもなく追加予定）

  • 画質向上の他の方法

📎 オリジナルプロジェクトへの帰属

FramePackはlllyasvielによって開発されました。このワークフローはKijaiの作業によりComfyUIにラッピングされ、さらに最適化およびユーザーに優しい機能が追加されています。

🧠 クレジット

  • 原始的なFramePackアーキテクチャ：@lllyasviel

  • ComfyUIノードラッパー：@Kijai

  • モデルおよびパイプライン統合：Comfy-Org

  • テストとフィードバックを提供してくれたComfyUIコミュニティの皆様

デフォルト設定は私のRTX 3090（24GB VRAM）を基準にしています。VRAMが少なくメモリ使用量が問題になる場合は、まずFramePackモデルをfp8バージョンに変更してください。それでも不足する場合は、VAEのバッチパラメータを下げてみてください。

ぜひ、このワークフローで作成したすべての動画をここに投稿してください！どんな作品が生まれているのか、ぜひ見せてください！

このモデルで生成された画像

画像が見つかりません。