Flux1 Dev Consistent Character - Fast Generation (PuLID, Controlnet, Torch Compile)

詳細

ファイルをダウンロード

モデル説明

このワークフローは、4060Ti上で1.15秒/イテレーションで一貫したキャラクターを含むFlux画像を生成します(2世代以降では、モデルのコンパイルが有効な場合)。このワークフローには16GBのVRAMが必要です。ggufモードはtorch.compileと互換性が悪いため、fp8 Fluxモデルを使用しています。エラーが発生した場合は、以下の手順に従って環境をセットアップしてください。

  • キャラクターの一貫性のためにPuLIDを使用します。ユーザーの報告によると、PuLIDはAI生成されたキャラクターにはよく機能しますが、現実の写真にはあまり適していません。

  • FLUX.1-dev-ControlNet-Union-Pro ControlNet(16GB VRAMでControlNetを使用するには、Q2_k Flux GGUFを使用する必要があります)

  • Kijaiのパッチを適用したTorchCompileModelベータノードを使用してモデルをコンパイルします。これにより最初の生成に時間がかかりますが、その後の生成は高速化されます。

  • weight_dtypeをfp8_e4m3fn_fastに設定し、NVIDIA 40シリーズGPUでの高速生成のためにfp8行列演算を利用します。旧世代のGPUをご利用の場合は、fp8_e4m3fnを選択してください。

環境

以下の環境でこのワークフローをテスト済みです。問題が発生した場合は、以下の手順で環境を構築してみてください:

  1. Python 3.10.11をダウンロードしてインストールしてください(https://www.python.org/downloads/

  2. CUDA 12.4(https://developer.nvidia.com/cuda-12-4-0-download-archive)とcuDNN Version Tarball、CUDAバージョン12(https://developer.nvidia.com/cudnn-downloads)をダウンロードしてインストールしてください。cuDNNはOnnxを使用するReActorなどのノードに必要です。そのため、私は必ずインストールしています。

  3. 以下のコマンドで最新のComfyUIをクローンしてください:git clone https://github.com/comfyanonymous/ComfyUI.git

  4. ComfyUIディレクトリに移動してください

  5. python -m venv .venv

  6. .venv\Scripts\activate.bat

  7. pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

  8. ComfyUIの依存関係をインストール:pip install -r requirements.txt

  9. Python 3.10用のtriton 3.1.0(triton-3.1.0-cp310-cp310-win_amd64.whl)を以下からComfyUIフォルダにダウンロードし、pip install triton-3.1.0-cp310-cp310-win_amd64.whlでインストールしてください:https://github.com/woct0rdho/triton-windows/releases

  10. 以下のコマンドでComfyUIを実行してください:python.exe -s .\main.py --windows-standalone-build

モデル

  1. flux_dev_fp8_scaled_diffusion_model.safetensors(models/diffusion_models/flux):https://huggingface.co/comfyanonymous/flux_dev_scaled_fp8_test/tree/main

  2. t5xxl_fp8_e4m3fn_scaled.safetensors(models/clip):https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main

  3. ViT-L-14-BEST-smooth-GmP-TE-only-HF-format.safetensors(models/clip):https://huggingface.co/zer0int/CLIP-GmP-ViT-L-14/tree/main

  4. pulid_flux_v0.9.1.safetensors(models/pulid):https://huggingface.co/guozinan/PuLID/tree/main

  5. antelopeV2(models/insightface/models/antelopev2):https://huggingface.co/MonsterMMORPG/tools/tree/mainからantelopev2.zipをダウンロードして展開してください。models/insightface/models/antelopev2フォルダにすべてのantelopeV2モデルファイルが配置されるようにしてください。

  6. FLUX.1-dev-ControlNet-Union-Pro(models/controlnet):https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro/tree/mainからdiffusion_pytorch_model.safetensorsをダウンロードし、FLUX.1-dev-ControlNet-Union-Pro.safetensorsにリネームしてください。

  7. Flux VAE:マネージャーでインストールしてください

カスタムノード

  1. ComfyUI-GGUF:ControlNetを使用したい16GB VRAMユーザー向け

  2. rgthreeのComfyUIノード

  3. KJNodes for ComfyUI

  4. ComfyUI-PuLID-Flux-Enhanced

このモデルで生成された画像

画像が見つかりません。