Hunyuan + Flux Sim SCHNELL Unchained

AbstractPhilaAbstractPhila
50
474
base model
v1512Comfy Workflow LoraTest

详情

下载文件

模型描述

这是Schnell Simulacrum v1512以一种非常特定的方式与Hunyuan合并的模型。

该模型兼容众多Flux LoRA和Hunyuan LoRA。

我确信这是一个令人困惑的衍生模型，且在我的ComfyUI中推理行为有所不同。我不确定为何如此，目前也无法理解为什么会这样。

https://civitai.com/articles/11578/accidental-discovery-flux-loras-work-on-hunyuan

这完全没有先例。因此，如果你期待某种奇迹或万能解法能将Flux和Hunyuan完美合并，那不可能实现。

然而，确实存在多个LoRA会对结果产生非常显著的影响，尤其是那些训练CLIP_L的LoRA。

我再重复一次：这是我偶然发现的全新成果，我几乎从未因模型发布获得过如此多的关注。但此刻，我并非所有问题都有答案。

请知道，我正在研究，并努力为你们找出这些答案。目前这已是我的极限。

请参考文章中我用于合并模型的ComfyUI流程图，最终效果基本一致。

可将此合并后的Hunyuan与其他Hunyuan LoRA结合使用，以在系统中实现更精确的结果；因为目前该模型高度不可预测且前所未有。

所有模型均已压缩。

首先说明：我不知道该如何帮助你使用它。Schnell Sim v1512经过大量训练，使用的是混合了Booru标签的纯英文数据，已完全内化了动漫、3D和写实风格的路径。它支持负向提示，在CFG 3.5至6之间表现最佳；但请注意，这并非Flux模型，它有其独特的规则，然而模型确实能工作。未来几周我会深入探究原因，但此刻我完全不明白为何如此。

我需要分析调用链和模块加载过程，以确认ComfyUI的引导系统是否无意中引入了T5……实际上我有约50项内容需要逐一检查。

/////

祝你好运……

/////

在真正正确训练此模型之前，我强烈建议使用LoRA。

提示时请混合使用动作描述与Schnell Simulacrum标签。

包含内容：

  • Hunyuan 基础模型 BF16

    • 我选择BF16是因为它对BF16格式的Schnell Sim响应最佳。

    • 目前它强制为BF16格式，直到我发布带有量化支持的完整检查点加载节点。

  • Simulacrum Schnell v1512 BF16 链接

    • 关于此模型有完整系列文章与笔记，涵盖标签、结构、提示使用及细致的提示规划。

  • CLIP_24_L_OMEGA BF16

    • 目前已使用超过3800万个样本进行训练。别踩到雷，它很可能能识别出你想要的创可贴。

  • LLAMA FP8

    • 体积更小，速度适中。

    • 不会对性能造成太大影响。

  • Hunyuan BF16 VAE

    • 这是唯一一个能正确压缩并基于系统产生正确估值的组件。

合并辅助说明：

  • ComfyUI：

    • Checkpoint Save节点 → 将链中所有末端连接至此。

  • LoRA加载器：

    • ****

    • 我们使用它加载Flux模型中的CLIP。

    • 若Flux模型无CLIP，可能无法工作；但也可能可以。

    • ****

    • 标准LoRA加载器需用于将CLIP与CLIP_L Omega 24正确合并。将模型和CLIP都接入，但仅连接CLIP的输出，不要连接模型的输出。

    • 强度设置：

      • 模型：0

      • CLIP：1.0

  • Hunyuan LoRA加载器：

    • ****

    • 我们现在正在使用这些模型。

    • ****

    • 此加载器按单模块或双模块加载LoRA。Flux LoRA应以单模块加载，强度低于1.0；1.0会过度叠加，对大多数LoRA而言过强，多数LoRA早已“烧焦”无法使用。幸运的是，Sim Schnell如同慢火炖煮完美的牛腩，一点未焦，是数周低温慢炖的杰作。

    • 强度设置：

      • 双模块：0.2

      • 单模块：0.8

  • 将两条链输出至Checkpoint Save：

    • 来自Hunyuan LoRA链的模型输出

    • 来自Flux LoRA加载器链的CLIP输出

    • 来自VAE加载节点的VAE输出

  • 若设置为CPU模式合并模型，需超过90GB内存，请耐心等待；模型转换耗时较长，我估计花了近15分钟。

你现在可以使用合并后的模型，它生成速度更快，并利用了系统提供的多种优化。

你或许能以多种独特方式加载它，或通过类似流程自行压缩模型。

这只是奠基工作，为未来构建真正卓越之物铺路。

我的Schnell版本受修改版Apache 2.0许可证保护，条款规定：小型企业、公司和研究机构可从中获利，但大型企业及营利性大型研究团队若想直接获利，必须支付经济补偿。

关于Hunyuan部分，我将合并许可权让渡给Hunyuan，因该基础模型并非我所创建。所有权利归原始模型作者所有，如收到停止通知，我绝无异议。

我最终会发布一个完全受Apache保护的微调版本，但不是今天，朋友们。今天还不是时候。

我是一名位于美国的独立研究者，将依据美国本地法律及相应影响，尊重所有模型所有者的许可与权利。

此模型生成的图像

未找到图像。