Snakebite 2

详情

下载文件

模型描述

一种全新的方法!

原始的 Snakebite 是一个由 bigASP 的组合模块注入的 Illustrious 模型。然而,Snakebite 2.0 主要是 bigASP——但通过多种技术显著提升了其纹理和美学表现能力。

❤️ 如果你喜欢 Snakebite,你可以帮助分担训练成本:

Buy liftweights a Coffee


⚠️ 重要提示:

此模型使用 Flow Matching,因此你必须在 ComfyUI 中将其连接到 ModelSamplingSD3 节点,才能获得正确结果。

如果你使用的其他 UI 不支持 Flow Matching 目标,可以尝试使用 Snakebite v1.4 —— 它的行为类似于常规的 Illustrious 模型。


为什么改变公式?

虽然我对原始的 Snakebite 感到满意,但在两种架构之间,我一直无法通过合并来弥合某些“差距”。在 1.0 到 1.4 的版本中,我尽力减少了奇怪的背景物体和多余肢体,但我逐渐意识到,完美的解决方案其实就在这里——即原版 bigASP 2.5。

我不确定有多少人意识到 bigASP 的优秀程度……它的提示遵循度几乎达到 Flux 水平,却没有任何审查、塑料皮肤、严苛的硬件要求或糟糕的授权问题。这相当惊人。

我着手解决它的两个主要问题:

  1. bigASP 的纹理质量很差。我不确定是其美学标注有问题,还是因为它“见得太多了”(它是在 1300 万张图像上训练的!),但无论你添加多少 (((high quality, masterpiece, so good))),都难以生成一张哪怕接近普通 SDXL 模型质量的图像。

  2. 你必须为每件事都明确提示。这本身未必是坏事。问题是,bigASP 对你未提及的内容有着非常奇怪的理解。例如,如果你提示 1girl, standing,它可能会生成 1girl, standing, morbidly obese, upside down 的图像。

这两个问题至少在一定程度上得到了解决。这并不容易!bigASP 的输入模块极其脆弱——如果你尝试用美学 LoRA 调整它们,模型往往会彻底崩溃。与 SDXL LoRA 的兼容性也很差,因为它们并非基于 Flow Matching 技术训练的。

不过,我找到了一些对我的美学优化响应良好的模块。因此,我正缓慢而谨慎地将这些模块引入诸如直接偏好优化(DPO)等技术中,目标是帮助 bigASP 在你未提供 500 字长提示时,也能知道该怎么做(即:让每张图看起来都体面而不离谱)。


与 v1 相比的优势

  1. 作为 SDXL 模型,其提示遵循度惊人——请查看演示图库

  2. 更能理解复杂的概念与互动

  3. 由于 Flow Matching,扭曲的肢体几乎不存在

  4. 风格非常灵活;比 v1 更具写实感,同时也能更好地生成插画

  5. 只要愿意多试几次,它能很好地拼写单词


缺点

  1. 美学上不如 IL 一致,但远优于原版 bigASP

  2. 缺乏 IL 意味着对 booru 标签的知识较弱,但你可能会惊讶于 bigASP 自身掌握的内容之多——它完全可以独立生成大量主流角色和概念

  3. 背景有时有些奇怪,目前尚不确定这是 bigASP 的问题,还是我合并进去的部分导致的


推荐设置

Turbo 模式:

  • 8 或 9 步

  • LCM 采样器

  • Beta、Normal 或 Simple 调度器

  • CFG 1

  • 模型偏移量为 3(这是 bigASP 训练时使用的值)

  • 示例工作流:https://pastebin.com/Z35kNns6

完整模式:

  • 25–40 步

  • 速度优先选 Euler ancestral,质量优先选 dpmpp_2s_ancestral

  • Simple 调度器

  • CFG 4–6

  • 模型偏移量为 3

  • 强烈建议使用负面提示(例如:worst quality

  • 示例工作流:https://pastebin.com/ynrJ1Nt2

注意:增加模型偏移量可能提升提示遵循度,但会牺牲质量。这对角色 LoRA 特别有用,可尝试 6–8 的值。


提示指南

最重要的一点:小心你的冗余词。如果你写 warm lighting,你一定会得到大量暖光。甚至只是在提示中加一个简单的 high quality,都可能彻底改变图像。所以请谨慎表达,从零冗余开始。

效果并不总是直观的。例如——正如 bigASP 的作者指出的——术语 masterpiece quality “会使模型倾向于生成插画/绘画,而非照片”。

如果你想要照片,我至今尚未发现比 onlyfans, abbywinters photo 更有效的短语。嘿,我是认真的!这些词对普通内容同样有效。(编辑:自 v2.2 起,这些辅助短语已非必需。在新版 Snakebite 中,使用 photograph of a... 通常就足够了。)

此外,bigASP 的训练数据使用的是 JoyCaption 标注(在线演示,由 bigASP 的同一作者开发),因此建议你用与 JoyCaption 相似的语调和节奏与模型交流。Booru 标签也有效,但往往会把图像推向更 CGI 的方向。

大多数时候,如果 Snakebite 没有生成你想要的图像,问题往往在于换一种表达方式,或添加 (((强调)))


训练 LoRA

请使用官方 bigASP 2.5 LoRA 训练脚本:

安装简单。我通过我的 kohya-ss 虚拟环境运行它,仅需几个额外(无冲突)依赖。

据我所知,kohya 不支持 SDXL 的 Flow Matching 训练,因此需要此脚本。

默认设置即可。如需,可提高 lora_ranklora_alpha,但默认值 32 通常已足够。它会分组图像。请注意,它仅在训练结束时保存检查点。我已修改脚本,改为 save_every_n_steps。如需我的修改版本,请告知。

不要在 Snakebite 的 Turbo 版本上训练。请使用完整版(我上传后),或直接在原版 bigASP 2.5 上训练。

👉 重要train-lora.py 脚本所针对的模块比 kohya 的 sd-scripts 少,因此生成的 LoRA 文件更小,但可能不足以捕捉角色特征,即使使用高 rank 和 alpha。要解决此问题,请在脚本中搜索 "target_modules" 并更新为:

target_modules=["to_k", "to_q", "to_v", "to_out.0", "k_proj", "v_proj", "q_proj", "out_proj", "proj_in", "proj_out", "conv_in", "conv_out", "ff.net.0.proj", "ff.net.2"]

这将生成与 kohya(fp16 精度)大小相当的文件。

此外,还有一个由 @deGENERATIVE_SQUAD 开发的非官方 sd-scripts 分支,支持 Flow Matching:

- https://github.com/rozmary1/sd-scripts


谢谢!一如既往,我期待您的反馈。请分享此模型并上传一些图片,帮助它获得更多关注。如果有一天 Snakebite 能够成为 Civitai 官方生成器的一部分,那就太棒了!

此模型生成的图像

未找到图像。