Flux 分块式（混合精度模型）

为了实现混合精度模型，我不得不开发了多个自定义工具；据我所知，这是首个如此构建的模型。

• 比目前任何其他 FP8 量化模型更快、更准确

• 可在 Comfy 和 Forge 中使用，但 Forge 需设置为 BF16 UNET

• 在 Comfy 中作为扩散模型加载时，使用默认权重

• 除非绝对必要（例如运行 CPU 或 IPEX），否则不应使用 FP16 上转换

• FORGE - 设置 COMMANDLINE_ARGS= --unet-in-bf16 --vae-in-fp32

• 除了必须将 Forge 强制设为 BF16（可选地将 VAE 设为 FP32）外，其行为应与 DEV 模型相同，并且比完整的 BF16 模型小 5GB

事实证明，包括我迄今为止所知的所有量化模型，都是按照 Blackforest 的建议非最优构建的。

仅扩散模型中的 UNET 块应被量化，并且应上转换为 BF16 而非 FP16（Comfy 正确地做到了这一点）

---

Hippo 图像重混

Lion 图像重混

我目前正在尝试研究如何遵循 Blackforest 的建议，同时使用 GGUF。