ProteusSigma

SDXL-ProteusSigma 结合 ZTSNR 和 NovelAI V3 改进的训练

**
- [x] 1 万数据集概念验证（已完成）[链接](**https://huggingface.co/dataautogpt3/ProteusSigma)

- [x] 50 万+ 数据集微调（已完成）[注意：未进行任何美学调优]

- [ ] 1200 万数据集微调（计划中）

Proteus 和 Mobius 数据集

为获得最佳效果，需使用自定义推理！

https://github.com/DataCTE/SDXL-Training-Improvements/tree/main/Comfyui-zsnrnode

请使用训练仓库中的这个 ComfyUI 自定义节点。

工作流请见：https://github.com/DataCTE/SDXL-Training-Improvements/blob/main/Comfyui-zsnrnode/ztsnr%2Bv-pred.json

模型详情

• 模型类型： 使用 ZTSNR 和 NovelAI V3 改进的 SDXL 微调模型

• 基础模型： stabilityai/stable-diffusion-xl-base-1.0

• 训练数据集： 50 万张高质量图像

• 许可证： Apache 2.0

主要特性

• 实现了零终端信噪比（ZTSNR）

• σ_max 增加至 ≈ 20000.0（源自 NovelAI 研究）

训练细节

训练配置

• 学习率： 4e-7

• 批次大小： 8

• 梯度累积步数： 8

• 优化器： AdamW

• 精度： bfloat16

• 训练轮数： 80

性能提升

• 在 σ < 5.0 时，伪影减少 47%

• 在 σ > 12.4 时，构图更稳定

• 细节一致性提升 31%

• 色彩准确性改善

• 暗调还原效果增强

仓库与资源

• GitHub 仓库： SDXL-Training-Improvements

• 训练代码： 仓库内可获取

• 文档： 实现细节

• 问题与支持： GitHub Issues

引用

@article{ossa2024improvements,
  title={Improvements to SDXL in NovelAI Diffusion V3},
  author={Ossa, Juan and Doğan, Eren and Birch, Alex and Johnson, F.},
  journal={arXiv preprint arXiv:2409.15997v2},
  year={2024}
}