Seele-NoobAI-SDXL

详情

下载文件

模型描述

开始使用 Seele-NoobAI-SDXL 2.1:用户指南

1.概述

“Seele-NoobAI-SDXL 2.0 是在 noobai 的 NOOBAI XL-VPred 1.0 模型基础上微调而来,标志着重大进化。与 v1.0 及其衍生版本的关键区别在于,2.0 已不再仅限于风格化模型。”

这个新版本原生支持最高 2048x2048 的分辨率。事实上,本页所有预览图均直接以该高分辨率生成,未使用任何内补绘制或超分辨率处理。若想查看工作流,您只需下载图像并直接加载至 ComfyUI 中提取元数据即可。

与 v1.0 单一的风格化侧重不同,2.0 版本并未局限于特定美学风格。与原始 noobai 一样,它对提示词响应出色,尤其对艺术家标签反应极佳。通过专门的数据集筛选,我确保了这些标签生成的风格输出与原始 noobai 保持高度一致。这意味着您可以直接沿用 noobai 的艺术家标签字符串,获得几乎完全相同的结果。

如您感兴趣,我将在本文末尾分享我的训练方法。现在,让我正式介绍 Seele-NoobAI-SDXL 2.0:一款开箱即用、专为生成惊艳高分辨率图像而设计的模型!

2.提示词

在您的提示词末尾添加以下标签:

masterpiece, best quality, newest, absurdres, highres, high resolution,

推荐的负面提示词:

worst quality, normal quality, old, early, low quality, lowres, text, word, text watermark, Color cast, Blurred background, Halo, Colorful spots,

1024x1024 分辨率问题排查

如果您在生成 1024x1024 分辨率图像时遇到视觉伪影或图像畸变等问题,请对提示词进行以下调整:

  1. 在您的正向提示词中:

    • high resolution 替换为 normal resolution
  2. 在您的负向提示词中:

    • 添加 (high resolution:1.2), (medium resolution:1.2)

此针对性调整可有效解决上述生成问题。

3.参数设置

cfg:4.5—5.5

与我们对 noobai 的建议不同,v2.0 默认建议禁用 Rescale CFG。但若生成过程中出现色彩伪影,可尝试将该值设为 0.5 进行调试。(重要:仅可从 0.5 开始向下调整,切勿增加该值。)

采样器:euler/euler a

此外,euler_ancestral_cfg_pp 和 euler_cfg_pp 采样器均为极佳选择,强烈推荐使用。

调度器:sgm_uniform

调度器首选 sgm_uniform。良好替代选项包括 simple 和 normal。虽然我们通常不建议使用 karras,但您可自行实验,判断是否符合您的特定需求。

步数:28—40

分辨率:

768x1344、832x1216、896x1152、1024x1024、1152x896、1216x832、1344x768、1024x1536、1536x1024、1536x1536、1536x2048、2048x1536、2048x2048、1920x1080、1080x1920

总结:您可以放心地在总面积介于 1024x1024 至 2048x2048 之间的任意分辨率下生成图像。理论上,该模型应支持低至 512x512 的分辨率,尽管我本人尚未测试。欢迎您自行实验,探索可能的极限。

最后,在参数设置的结尾,我想向希望进一步提升效果的用户推荐一项高级选项:euler_smea_dy 采样器。

这是一个卓越的采样器,专为原生高分辨率生成优化,可实现清晰锐利的线条。但若使用两步工作流(例如先在 1024x1024 等低分辨率下生成,再进行放大),则存在一个关键注意事项:在放大阶段,您必须将调度器设为 exponential。若未如此设置,图像背景将过度平滑,失去细节。

然而,若您直接在高分辨率下生成(例如 2048x1536),我认定此采样器近乎完美。感兴趣的用户可访问作者 GitHub 链接:Koishi-Star/Euler-Smea-Dyn-Sampler: A sampler base on Euler, aim at generating better picture/一种基于Euler的采样方法,旨在生成更好的图片

4.结语

我衷心希望您能享受使用 Seele-NoobAI-SDXL 2.0 创作的过程。若您生成了任何令您自豪的作品,我非常期待您将它们发布在图库中。

看到社区成员的创作成果,是我持续开发和改进此项目的最大动力与鼓励。感谢您的支持!

5.训练方法

v2.0 的高分辨率生成能力对我来说是一次全新的实验。尽管类似功能已存在于 Illustrious XL 1.0 及其后续模型中,但在我的训练流程中却完全是未知领域。

过程中我遇到了一系列问题,包括:低分辨率下输出损坏、高分辨率下持续出现伪影、模型完全无法生成任何连贯图像的灾难性失败,以及与大量基于 1024x1024 训练的社区 LoRA 之间的严重兼容冲突。

首先,我面临巨大的资金瓶颈。任何模型训练者都知道,理想方案是尽可能涵盖多样概念,意味着需使用海量图像进行训练。社区常用的数据源是 Danbooru,但以 2048 分辨率训练完整 Danbooru 数据集对我而言完全超出了预算。我只能负担仅数万张精选图像用于 2048px 训练。

因此,核心问题变为:如何在如此有限的数据集中最大化模型效能?我的策略是根据时间与 ID 筛选 danbooru2024 数据集,确保所选图像涵盖 Danbooru 历史中所有风格谱系。幸运的是,noobai 本身是一个极其稳健的基础模型。我在 1024px 下的测试证实,这种筛选方法对 noobai 原有的泛化能力影响微乎其微,成功保留了其强大的多样性和提示响应能力!

接下来,我着手解决第二个重大挑战:高分辨率训练的“实现方式”。我最初仅使用高分辨率图像的方案,导致低分辨率生成能力彻底崩溃——输出充斥噪点、人体结构扭曲。我随后的实验尝试混合低分辨率图像以保留该能力。此时,一位朋友提出了关键问题:是应使用同一组图像在不同分辨率下训练,还是应使用不同图像分布在不同分辨率下的混合数据集?

这次我运气不错。一次实验得出了明确结论:使用不同分辨率下不同图像的混合数据集,显著提升了模型的泛化能力。我的假设是:在有限图像集的不同分辨率下重复训练,相当于对该小数据集过拟合,自然会削弱模型的多样性。最终,我采用了 Illustrious XL 论文中提到的多阶段训练策略:我先用包含 1536px 图像的数据集训练模型,再用包含 2048px 图像的数据集进行最终训练。

6.其他信息

数据集:deepghs/danbooru2024 · Datasets at Hugging Face

参考资料:Illustrious: an Open Advanced Illustration Model

特别感谢 @Anlia 在训练方法上的宝贵指导。

由衷感谢 @Des_Moines_prpr 在模型测试阶段的协助。

感谢 @Vecthral 在训练过程中提供的指导。

1.概述

基于 noobai V 预测训练。

清晰的角色线条、丰富的背景细节和出色的光影表现——这是我的模型的优势!

当然,我也基于大量 NSFW 训练集进行训练,若您希望生成 NSFW 内容,我相信 Seele-NoobAI-SDXL 绝不会让您失望。

2.质量增强标签

在您的提示词末尾添加以下标签:

masterpiece,best quality,newest,absurdres,highres,

3.推荐负面提示词

worst quality,normal quality,old,early,low quality,lowres,signature,username,logo,bad hands,mutated hands,mammal,anthro,furry,ambiguous form,feral,semi-anthro,watermark,text,petals,light particle,

4.使用建议

采样器:euler/euler a

cfg:4.5-5.5

调度器:ddim_uniform/karras

步数:30-40

以上均为建议,实际使用中您可自由尝试其他参数组合!与 Noobai 一样,强烈建议您使用 Rescale CFG。

最后,强烈建议您至少进行 1.5 倍放大,以确保背景清晰锐利!

5.结语

我训练此模型的初衷是实现更优的角色线条和更丰富的背景。在模型训练结束时,我临时新增了一组光影训练集,因此您现在看到的 Seele-NoobAI-SDXL 拥有了不错的光影表现力。

希望各位喜欢这个模型,如果你们能在图库中多发一些作品,我一定会更加有动力继续优化!

更新日志

V2.1

本更新在 v2.0 基础上引入多项关键改进与错误修复:

  • 修复了上一版本中存在的关键问题:多分辨率噪声迭代实现错误,导致零终端信噪比(SNR)被破坏。

  • 训练数据集已增强:通过重新平衡组成并显著扩充整体规模。

  • 1024px 分辨率下的图像生成质量得到提升,有效消除了此前容易出现的视觉伪影。

v2.0

提升了模型的高分辨率生成能力。

v1.2

抱歉,v1.1 上传时误传了一个严重过拟合的版本。v1.2 修正了此问题,我已调整训练集,使背景不再杂乱。

注意:本版本新增了负面提示词!

同时,我正在试验一种将令许多人感到惊讶的训练方法。基于此方法训练的模型可能不会在下一次更新中立即发布,但不久后将推出!

v1.1

基于 1.0 训练集重新训练,消除了部分动作中的灾难性遗忘问题,我对 v1.1 版本非常满意,未来更新将基于 v1.1 进行调整。

此模型生成的图像

未找到图像。