openjug anime

详情

下载文件

模型描述

欢迎!

这是一个 OPEN 微调实验。这意味着我会提供我用来创建此微调的所有内容。

警告:请勿使用默认的 CFG=7!通常 cfg=3 到 6 效果最佳

训练数据集是 https://huggingface.co/datasets/ppbrown/danbooru-cleaned 的一个子集
更多细节在下方说明

背景故事

从理想主义的角度出发,我希望创建一个与所有模型都高度兼容的微调版本,因此我一直只使用 SDXL 基础模型进行训练。

但在本轮微调实验中,我从基础 SDXL 模型中得到了极差的输出结果。
色彩表现尚可,但人物形象却严重偏离预期。

因此,我暂时放弃了之前追求兼容性的原则,转而选择一个更擅长处理人物的模型:Juggernaut。

遗憾的是:最新版的 Juggernaut 实际上对动漫风格的表现已经相当不错了 :-(

但我所使用的 HuggingFace 上的 “Juggernaut XL” 模型并不擅长动漫风格,因此从我当初的起点来看,这仍算是一种技术上的改进。(这是 Juggernaut 9)

日志

我记录了部分我的探索过程,详见:

https://civitai.com/articles/7521/my-saga-of-fine-tuning-sdxl-models

设置

我在 RTX 4090 上使用 OneTrainer,采用以下主要设置:

输入类型:bf16
训练类型:bf16
学习率:1e-05,恒定;批次大小=1,训练100轮
EMA 步长:100,EMA 在 CPU 上运行,启用 XFORMERS 注意力,开启梯度检查点

不训练文本模型

我在训练设置中将分辨率设为 1024,但未在“概念”定义中启用分辨率覆盖

这些设置使我的训练速度约为 2IT/s,占用约 16GB 显存

完整数据集详情

你可以使用以下地址中的脚本:

https://huggingface.co/datasets/ppbrown/danbooru-cleaned/tree/main/SUBSETS

配合输入文件:

https://huggingface.co/datasets/ppbrown/danbooru-cleaned/blob/main/SUBSETS/files.onegirlscene605.txt

这将下载对应的 .jpg 文件以及必需的 .txt 标签文件

许可证

提醒:此模型基于 Juggernaut,因此受 Juggernaut 许可证约束!

此模型生成的图像

未找到图像。