Colossus Project Flux
详情
下载文件
关于此版本
模型描述
群山深处沉睡着一位巨人，他既能帮助人类，也能带来毁灭……
一座巨像苏醒了……
继我的SDXL系列之后，是本项目的FLUX系列了……这次我从零开始训练了这个模型。训练所用的图像均出自我的手笔，我使用自己的Schnell Flux模型DemonFlux/Colossus Project schnell + 我的SDXL Colossus Project 12作为精炼器来创作这些图像。
此SD Flux检查点几乎能生成任何内容……Colossus在创建极其逼真的图像、动漫和艺术方面表现卓越。
如果你喜欢，请随时给我反馈。如果你想支持我，也可以在这里进行。为了搭建一台能实际训练FLUX模型的电脑，我已经投入了不少资金……训练和测试也耗费了大量时间和电力。
https://ko-fi.com/afroman4peace
版本 V12 "Hephaistos"
发布这个检查点让我既高兴又难过……V12将为此系列的最后一个检查点……主要原因在于即将到来的欧盟AI法规，另一个原因是Flux .1 DEV自身的许可证。感谢大家的支持！过去一年，我在这项工程上倾注了大量时间。现在，是时候转向新项目了。
无论如何……我会为这个系列画上一个圆满的句号……
V12基于V10B "BOB"，但整合了本系列中最优秀的部分（这得益于一种新合并方法，合并耗时约1小时30分钟，耗尽了我的全部128GB内存）。相比V10，我提升了面部和皮肤纹理，眼睛更加逼真、更有“生命力”。
请自行测试并反馈V12的表现。由于我的网速缓慢，我将先上传FP8_UNET，随后是FP8“一体化”版本，再是FP16_UNET和FP16_BEHEMOTH。我也会尝试将其转换为int4和fp4（祝我好运吧）。
一如既往，欢迎你对V12提出反馈。
版本 V12 "Behemoth"（AIO）
这个“一体化”模型是V12系列的最佳之作……当然，也是体积最大的 :-)
Behemoth内置了定制的T5xxl和Clip_l。如果你追求质量而非数量，这个检查点就是为你准备的！
版本 V12 FP4/int4
感谢Nunchakutech的Muyang Li对V12进行量化工作。https://huggingface.co/nunchaku-tech 及其惊人的Nunchaku！
这个版本真的令人震撼——前所未见地将质量与速度完美结合。
注意！
有两个版本：FP4 和 int4。FP4 仅适用于Nvidia 50xx显卡！而int4适用于40xx及以下型号（你至少需要20xx系列显卡）。
你也可以直接在这里下载这两个版本：https://huggingface.co/nunchaku-tech/nunchaku-flux.1-dev-colossus
安装指南与工作流程
以下是一个快速安装指南和进行中的工作流程：
https://civitai.com/articles/17313
工作流程详细指南：
https://civitai.com/articles/17358
我仍在为Nunchaku开发新的工作流程，因此以下流程仍处于进行中（WIP），我将在本周末发布详细文章。
版本 V12 FP16_B_variant
由于我深夜（凌晨2点）的一个小失误，我误命名并上传了“错误”的检查点。这是一个从未打算发布的高度实验性版本，尚未充分测试，但在制作展示图时表现非常出色，可能优于标准版本。
它更倾向于生成亚洲面孔……因为我想在一项仍在进行的副项目中测试某些混合效果。请告诉我你对该检查点的使用体验 :-)
版本 V12 AIO FP8
此版本是V12的一体化版本，意味着所有CLIP均已内嵌其中。它将与我自定义的Clip_l配合FP8_UNET产生完全相同的效果。
版本 V12 GGUF Q5_1
这是应要求制作的版本，质量尚可。
版本 V10B "BOB"
这是V10的替代版本。我创建它的目的是改进V10的FP8版本。总体而言，FP8版本更精确，色彩更好。可惜我最近时间不多……（现实优先），因此花费了这么久。如果你更偏爱这个版本，请告诉我。我也有“BOB”的FP16版本。根据反馈，我可能会考虑发布int4版本。
工作流程：
V12与V10的工作流程在此：https://civitai.com/articles/17163
版本 V10_int4_SVDQ "Nunchaku"
首先，感谢theunlikely https://huggingface.co/theunlikely 将FP16_UNET转换为int4_SVDQ。请访问他的页面并点赞支持。
该版本与FP8版本基本相当。即使在工作流程的普通模式下，其速度也比常规模型快2至3倍。使用工作流程的“快速模式”，我能在约19秒内用3090ti渲染出一张2MP图像。
什么是 SVDQ "Nunchaku"？
这种新型量化方法能将Flux模型（本例为原生FP16模型）从24GB压缩至约6.7GB。但不仅如此：你可以在几乎不损失质量的前提下，实现前所未有的生成速度。当然，与我的32GB_Behemoth相比，你会看到微小差异，但要运行这个模型，你需要更多的VRAM/RAM。
更多信息请访问：https://github.com/mit-han-lab/ComfyUI-nunchaku?tab=readme-ov-file
安装：请访问我的工作流程/安装指南：https://civitai.com/articles/15610
版本 V10 "Behemoth" (FP16_AIO)
此版本仍处于实验阶段。主要目标是获得更逼真的效果，同时我设法减少了一些“Flux线条”。该版本基于Colossus Project V5.0_Behemoth、V9.0，以及我另一个称为“Ouroborus Project”的项目。
FP16版本非常稳定。我即将发布FP8版本。该版本也很优秀，但稳定性稍逊。
请大胆尝试，并告诉我你对这个版本的看法。
祝你创作愉快 :-)
版本 V9.0：
我需要解释很多……首先，为何是V9.0？
我最近搬进了新公寓，由于网络服务提供商的错误，我一度没有稳定网络连接。搬家期间，我让电脑持续运行，结果生成了大量（多数已损坏的）检查点。不过，我确实有一些非常出色的V8版本，可能也会发布。
有什么变化？
我通过提取V5.0的最佳结果，重新训练了面部和皮肤纹理。此外，模型还接受了脚部和腿部的专门训练，以改善人体解剖结构。V5.0版本有时会裁剪头部和脚部，我认为我已修复了部分此类问题。
另外，我还用更多自己的风景图像进行了训练……是的，这一切都是在搬家期间完成的……我估计总训练时间约为两周，这并不便宜（每小时电费约25美分）。
无论如何，希望你喜欢这个版本。如果你想支持我，请发布一些精美的图片，或在Buz或Kofi上给我打赏。
告诉我你的看法 :-)
版本 5.0：
V5.0实际上基于V4.2和V4.4（后者也将很快发布）。它在皮肤细节和整体解剖结构方面进行了额外训练，主要修复了手部和乳头等问题。面部细节大幅提升。我也尝试修复了一些轻微的Flux线条。
总体而言，此版本比V4.2更逼真，对细节的处理也更出色。与版本4.2一样，这也是一个混合反蒸馏模型，可使用与V4.2相同的设置。
这里还有一个新工作流程供你尝试：https://civitai.com/articles/11950/workflow-for-colossus-project-flux-50
请告诉我，你认为这个版本与4.2或V2.1相比如何？
版本 4.4 "Research"：
我仅为了完整性添加了这个版本……它比V4.2稍显逼真，是版本5.0的基础。如果你愿意，可以尝试一下。你也可以使用V5.0和V4.2的工作流程。
版本 4.2：
此版本是Demoncore Flux与Colossus Project Flux的进一步发展。目标是获得更稳定的结果，改善皮肤纹理、手部表现和面部多样性。因此，我对其进行了一项混合训练，部分使用了Demoncore Flux。我还略微增强了乳头和NSFW内容。告诉我你是否更喜欢V4.2而非V2.1 :-)
展示图均仅使用原生SDXL分辨率或2MP分辨率（如1216x1632）。该模型可处理更高分辨率……我已测试至2500x2500，但仍建议使用约2000x2000。
我推荐使用约30步和2-2.5的CFG。我的工作流程中通常使用2.2或2.3。展示图使用DPM++ 2M和Simple调度器。
我将在圣诞节前尽快添加更多版本，但我目前时间有限。
设置
我将很快发布一个专属的Comfy工作流程。目前你可以随时下载并打开展示图。
“一体化”版本在Forge中也能良好运行。
基本设置与V2.1相同（见下文）：
使用20-30步，CFG约2.2。
版本 2.1_de-distilled_experimental (MERGE)
此版本完全不同，其运行方式与普通Flux模型截然不同！
这是我的2.0版本与反蒸馏版本https://huggingface.co/nyanko7/flux-dev-de-distill 的实验性合并结果，纯属偶然，但效果惊人。它能生成令人惊叹的细节，并极精准地遵循提示。因此，我下一步打算直接在反蒸馏模型上进行训练。我已用它测试了一些Lora。这是高度实验性的，请告诉我你发现的任何未列出的错误。如果你有好的图片，请分享，坏图也请发来，这有助于改进 :-)
请尝试2.0版本，告诉我哪种checkpoint更适合你。
！注意！
普通Flux工作流程不适用于此版本！你必须下载我的专用工作流程！
你也可以自行摸索，但请不要因生成效果不佳而责怪我。此外，这是一个高度实验性的模型……请查看下方缺点。
此检查点的优缺点：
此检查点能生成极端细节，但代价是速度比普通Flux检查点慢。好处是，你通常不再需要额外的放大。它不使用Flux引导，而是依靠CFG缩放，因此不兼容标准工作流程。
你可以使用负面提示！这有助于清除图像中你不想出现的元素。
有时会出现伪影……可以通过小规模简单放大解决（我正在修复）。以下是一个示例——奇怪的是，并非每个种子都会出现。更新：这不是模型本身的问题，而是工作流程问题，我正在修复。如果出现此问题，可尝试将首次放大设置为1.14而非1.2。
设置和工作流程 V2.1：
工作流程在此：https://civitai.com/articles/8419
设置：与普通Flux不同，无需使用Flux引导缩放，改用CFG。我的工作流程通常使用3的CFG。部分图像可能需要更低的CFG值。
最重要的是关闭Flux引导缩放。
在未使用工作流程的情况下，我测试了30步和2-3CFG。这可能也适用于Forge，建议你自行尝试。
我推荐在负面提示中使用“blurry”（模糊）一词。
采样器与调度器：
以下采样器均可正常工作：
Euler、Heun、DPM++2m、deis、DDIM。
我主要使用“simple”调度器。
如果你找到更好的设置，请告诉我 :-)
对于Forge，我推荐使用AIO模型。以下是Forge的一个示例设置：
版本 2.0_dev_experimental
这是一个实验性版本……目标是创建更连贯、更快的模型。我训练了一些自定义Lora，然后以特殊方式（张量合并）合并了结果模型。它包含一个经过“Attention Seeker”修改的定制T5xxl。为提升速度和质量，我合并了来自ByteDance的Hyper Flux Lora。这意味着它的运行范围发生了变化……我向你展示这意味着什么……以下是主标题图。
16 步 V 2.0
30 步 V 1.0
缺点：
首先，这个版本比上一个稍大一些；其次，我仍需创建仅含 U-Net 的版本，完成后我会更新。
设置与工作流程 V2.0：
现在您可以用更少的步数运行模型——16 步相当于旧模型的 30 步。
但我仍推荐使用 20-30 步，因为大多数情况下能获得更高质量的结果。
采样器：我偏好使用 Euler + Simple 调度器。提示词引导强度可设为 1.5–3（当然也可以在此范围外自行测试）。引导强度 1.8 对于写实图像效果依然很好。您也可以尝试其他采样器，DPM++2M 和 Heun 也表现优异。
工作流程 2.0：
我为 V2.0 和 V1.0 创建了新的工作流程，集成了新的 Flux 提示词生成器，并已成功启用第二阶段的上采样器。https://civitai.com/articles/7946
Forge：
我还测试了该模型在 Forge 上的表现，效果非常好。不过，Comfy UI 和 Forge 生成的图像可能略有差异。
版本 1.0_dev_beta：
这是本系列的第一个模型，欢迎提供反馈并分享生成的图像，这将有助于我进一步优化该项目。目前有多个版本可供选择：质量最佳的是 FP16 版本，但该版本体积庞大，需要高性能显卡和大量内存。FP8 版本在质量和性能之间取得了较好平衡，是我推荐的折中方案。如需 GGUF 版本，请下载 Q8_0。GGUF 的 Q4_0/4.1 版本是用户要求的，体积更小，但会损失部分质量。
我的模型基本分为两类：“一体化”模型只需下载一个文件，内含 Clip_L、T5xxl fp8 和 VAE（见下文）。请将此文件放入您的检查点文件夹中。
其他版本为“仅 U-Net”版本，您需要分别加载所有文件。
无论如何，您都需要下载我的 Clip_L 才能使其正常工作。
同时，请务必选择正确的 T5xxl Clip：FP8 版本使用 fp8_e4m3fn T5xxl Clip，FP16 版本使用 FP16 Clip。请确保选择默认权重类型。（下方是 FP8 版本的示例图）
对于 GGUF 版本，您需要使用 GGUF 加载器！
关于 V1.0 的已知问题：
作为系列首个模型，目前可能在处理某些提示词或艺术风格时表现不佳。下一版本将接受更多训练。请告诉我模型无法处理的内容。
设置与工作流程：
我测试了约 30 步，使用 Euler + Simple 调度器。提示词引导强度可设为 1.5–3（当然欢迎在该范围外自行尝试）。
引导强度 1.8 对写实图像效果良好。
请自由调整这些参数进行实验，如有良好结果，欢迎分享。
我已将展示图片作为训练数据加入，其中包含 Comfy 的工作流程。可在此下载工作流程： https://civitai.com/articles/7946
“一体化”模型：
仅 U-Net 版本：
您还需要下载 Clip_L，大小为 240MB。