openjug anime
详情
下载文件
模型描述
欢迎!
这是一个 OPEN 微调实验。这意味着我会提供我用来创建此微调的所有内容。
警告:请勿使用默认的 CFG=7!通常 cfg=3 到 6 效果最佳
训练数据集是 https://huggingface.co/datasets/ppbrown/danbooru-cleaned 的一个子集
更多细节在下方说明
背景故事
从理想主义的角度出发,我希望创建一个与所有模型都高度兼容的微调版本,因此我一直只使用 SDXL 基础模型进行训练。
但在本轮微调实验中,我从基础 SDXL 模型中得到了极差的输出结果。
色彩表现尚可,但人物形象却严重偏离预期。
因此,我暂时放弃了之前追求兼容性的原则,转而选择一个更擅长处理人物的模型:Juggernaut。
遗憾的是:最新版的 Juggernaut 实际上对动漫风格的表现已经相当不错了 :-(
但我所使用的 HuggingFace 上的 “Juggernaut XL” 模型并不擅长动漫风格,因此从我当初的起点来看,这仍算是一种技术上的改进。(这是 Juggernaut 9)
日志
我记录了部分我的探索过程,详见:
https://civitai.com/articles/7521/my-saga-of-fine-tuning-sdxl-models
设置
我在 RTX 4090 上使用 OneTrainer,采用以下主要设置:
输入类型:bf16
训练类型:bf16
学习率:1e-05,恒定;批次大小=1,训练100轮
EMA 步长:100,EMA 在 CPU 上运行,启用 XFORMERS 注意力,开启梯度检查点
不训练文本模型
我在训练设置中将分辨率设为 1024,但未在“概念”定义中启用分辨率覆盖
这些设置使我的训练速度约为 2IT/s,占用约 16GB 显存
完整数据集详情
你可以使用以下地址中的脚本:
https://huggingface.co/datasets/ppbrown/danbooru-cleaned/tree/main/SUBSETS
配合输入文件:
https://huggingface.co/datasets/ppbrown/danbooru-cleaned/blob/main/SUBSETS/files.onegirlscene605.txt
这将下载对应的 .jpg 文件以及必需的 .txt 标签文件
许可证
提醒:此模型基于 Juggernaut,因此受 Juggernaut 许可证约束!









