SDXL Pony Fast Training Guide
详情
下载文件
模型描述
本指南解释了我训练角色模型的方法。
使用20张图片，仅需15分钟训练时间即可创建一个SDXL Pony LoRA。
本指南假设您已有使用kohya_ss或sd-scripts进行训练的经验，因此不会详述工具操作细节。
在创建本训练方案时，我参考了以下网址中的优秀指南：/model/281404/lora-training-guide-anime-sdxl
【训练环境】
推荐显存：12GB或更高（已在RTX 4060Ti 16GB上验证可用）
*若使用FP8选项，10GB显存也可训练。
【使用的工具】
kohya_ss GUI：https://github.com/bmaltais/kohya_ss
我通过Stability Matrix安装了kohya_ss：https://github.com/LykosAI/StabilityMatrix
Pony Diffusion V6 XL：/model/257749?modelVersionId=290640
zunko_dataset（20张图片及标签）：https://files.catbox.moe/lnelg0.zip
zunko_Exclude_tag_list.txt：https://files.catbox.moe/2jbc93.txt
kohya_ss预设（zunko_pony_prodigy_v1.json）：https://files.catbox.moe/t5clrs.json
【训练数据】
图片数量：20–40张
超过此数量可能降低可复现性。质量一致性比数量更重要。
最好使用来自同一插画师、动画剧集等、艺术风格一致的图片。
对于同人作品，尽量收集艺术风格尽可能一致的插画。
为此，我参考了日本ZUNKO项目公开发布的AI训练数据：https://zunko.jp/con_illust.html
我选取了20张穿着相同服装的zunko插画，并将768x1024的PNG文件转换为WEBP格式。
* sd-script支持WEBP文件，其体积更小，因此我更倾向使用该格式。
【标签处理】
使用WebUI的wd14tagger重新标注图片：
模型：moat-tagger-v2
权重阈值：默认0.35
选择「Batch from directory」
设置输入和输出目录路径
额外标签："zunko,score_9,source_anime,znkAA"
角色名称：zunko
触发词：znkAA
质量标签：score_9, source_anime
排除标签
- 删除所有角色特征（绿色头发、黄色眼睛、长发等）- 仅保留一种服装特征（保留"japanese clothes"）
我已附上排除词列表，将该列表粘贴到“排除标签”字段即可获得相同效果。
理想情况下，我们希望将所有特征集中到触发词上，但由于训练步数较少，模型难以学习到"znkAA"代表服装。
因此，我让模型将服装特征吸收进其已认知的“服装”概念——"japanese clothes"，并以"znkAA"作为补充。
- 保留角色姿势、构图及不良物体（蝴蝶结、书籍、食物等）的标签
【开始训练】
启动kohya_ss并选择“LoRA”标签页。注意不要在选中DreamBooth标签页时打开LoRA预设。
我已附上预设文件，请下载后通过设置中的“打开”功能加载。
根据您的环境调整文件路径和源模型路径，并根据您的加速器调整混合精度和保存精度设置（例如fp16）。
基础设置：
优化器：prodigy，学习率调度器：1
维度：16，网络Alpha：2
批次大小：3，重复次数：1，轮数：50
若因显存不足出现OOM错误，请尝试启用fp8训练选项。
在我的设备上，50轮训练耗时14分钟，具体时间取决于您的PC配置。
【结果选择】
最后，检查训练结果并选择您偏好的轮次。50轮仅作为参考，最终轮次不一定最佳。
设置默认每10轮保存一次，但每5轮保存可能更优。
若训练数据与模型匹配良好，模型可能快速收敛。