ProteusSigma

SDXL-ProteusSigma の ZTSNR と NovelAI V3 改良によるトレーニング

**
- [x] 10k データセットの概念実証（完了）[リンク](**https://huggingface.co/dataautogpt3/ProteusSigma)

- [x] 50万+ データセットのファインチューニング（完了）[メモ：美的調整は一切行っていません]

- [ ] 1200万 データセットのファインチューニング（予定）

Proteus および Mobius データセット

最良の結果を得るにはカスタム推論が必要です！

https://github.com/DataCTE/SDXL-Training-Improvements/tree/main/Comfyui-zsnrnode

トレーニングリポジトリのこの ComfyUI カスタムノードを使用してください。

そして、ワークフローはこちら：https://github.com/DataCTE/SDXL-Training-Improvements/blob/main/Comfyui-zsnrnode/ztsnr%2Bv-pred.json

モデル詳細

• モデルタイプ: ZTSNR および NovelAI V3 改良によりファインチューニングされた SDXL

• ベースモデル: stabilityai/stable-diffusion-xl-base-1.0

• トレーニングデータセット: 50万枚の高品質画像

• ライセンス: Apache 2.0

主な特徴

• Zero Terminal SNR（ZTSNR）の実装

• σ_max ≈ 20000.0 の増加（NovelAI の研究に基づく）

トレーニング詳細

トレーニング設定

• 学習率: 4e-7

• バッチサイズ: 8

• 勾配蓄積ステップ: 8

• 最適化アルゴリズム: AdamW

• 精度: bfloat16

• エポック数: 80

パフォーマンスの改善

• σ < 5.0 におけるアーチファクトが 47% 減少

• σ > 12.4 での構成の安定性向上

• 細部の一貫性が 31% 向上

• 色の正確性の改善

• ダークトーンの再現性の向上

リポジトリとリソース

• GitHub リポジトリ: SDXL-Training-Improvements

• トレーニングコード: リポジトリ内で利用可能

• ドキュメント: 実装詳細

• 問題およびサポート: GitHub Issues

引用

@article{ossa2024improvements,
  title={Improvements to SDXL in NovelAI Diffusion V3},
  author={Ossa, Juan and Doğan, Eren and Birch, Alex and Johnson, F.},
  journal={arXiv preprint arXiv:2409.15997v2},
  year={2024}
}