hose_in-SDXL

与 v1 类似的数据集，仅移除了少量（约15%）标记错误和低质量图像，并在 Noob_vpred 上进行训练。

训练笔记：

• Kohya 训练器

• 优化器 ADOPT

• optimizer_args

  • "betas=(0.9, 0.9999)" "eps=1e-7"

  • 这是我过去几周为该规模数据集训练时找到的 ADOPT 最佳配置

• DoRa LoCon

• 冻结文本编码器（增加了训练时间，但我尽可能不修改 TE）

• 学习率 5e-4

• 维度 16

• alpha 8

• conv_dim 8

• conv_alpha 4

• 批次大小 8

• GA 16

• 2.6k 张图像

• 翻转

• 分桶

• 分辨率 1024

• 标签丢弃率 0.1

• 丢弃率 0.2

• 标题丢弃率 0.1

• scale_weight_norms 6

• ip_noise_gamma 0.02

• min_snr_gamma 2

• zsnr

• v_pred

• 额外设置：

  • 使用 soft_min_snr 替代默认公式

  • 学习时间步损失权重，一个小型网络用于为每个时间步学习损失缩放，目标与 min_snr 类似

  • 将重要标签排序至前面，并与其他标签分开排序

  • 对所有常见隐含标签应用标签暗示丢弃，丢弃率约 40%