Illustrious LoRA Training Guide

Illustrious LoRA 训练指南

记录我创建标注和训练 LoRA 的过程，以便在需要时可以链接到这篇指南~

数据集标注

“解释我关于如何为数据集添加标注的相当……非传统甚至有争议的理念”

CivitAI 上的大多数动漫模型仅使用自动标注的数据集进行训练，完全没有人工筛选，导致触发词变成一大段文字。因此，现在要重现角色的外观，你已经不得不耗尽默认的全部标记数量……

相反，我认为标注应仅包含不定义主体的“变量”。本质上，模型应学会将触发词与主体关联起来。以一个金发角色为例，金发标签应从标注中移除，因为这一“特征”应与角色名称关联起来。因此，我倾向于在训练前手动筛选标注。

有些人会说，这种方法降低了模型的灵活性，因为你无法再精确控制每一个细节。然而，这也有其另一面。我曾尝试过一些模型，如果你不明确提示每一个细节，结果根本不像该角色。因此总体而言，我个人更倾向于使用少量标签来重现角色。

训练参数

“解释我经过数小时测试后效果最佳的几个参数”

• mixed_precision： 如果你的 GPU 支持，请使用 bf16 以获得更好效果

• dynamo_backend： 如果你的 GPU 支持，可提升约 5% 的训练速度

• optimizer： 使用 Prodigy 实现自动管理的 学习率

  • learning_rate： 设为 1.0

• network_alpha： 设为 network_dim 的 0.5x ~ 0.25x

  • d_coef： 由于 network_alpha 和 train_batch_size 导致需要更高的学习率，建议使用大于 1.0 的值

• lr_scheduler： 使用 cosine 以对抗 Prodigy 倾向于保持高学习率的问题

• clip_skip： 对于 Illustrious 模型，请使用 2

• debiased_estimation_loss： 启用 以提升色彩准确性