[Negative LoRA] for RouWei - v0.6.1 vpred

详情

模型描述

警告: 此 LoRA 适用于 v-pred 检查点,且专为 RouWei v0.6.1 v-pred 设计。

RouWei 是由 Minthybasis 开发的 Illustrious 模型:(/model/950531?modelVersionId=1130140)

将以下内容放入正向提示中:

lora:rouwei_neg_by_pfc:1

将以下内容放入负向提示中(可选):

(by pfc:1.0)

建议强度: 0.1 至 1.0

模型描述:

这是一个实验性尝试,旨在利用 RouWei 提升输出的审美质量。应用此 LoRA 可帮助解决细节问题、修正解剖结构、增强背景细节等。

v2 版本是首个版本,仍有很大改进空间。

已知限制:

  • 在负向提示中加入 "by pfc" 有时根本不起作用

  • 过度提高 LoRA 强度可能导致图像变成“小马”风格,即使未使用触发词

  • 在高 CFG 值下会出现奇怪的伪影

数据集 / 训练详情:

数据集包含 360 张来自 CivitAI 的 AI 生成图像,主要源自 Pony Diffusion XL / Animagine 系列模型。

假设是:我们可以利用 RouWei 丰富的艺术家知识,将“小马”风格与其独特的标记关联,从而将其用作负向提示。

大部分用于训练的图像存在以下一种或多种问题:

  • 高频细节

  • 色彩苍白

  • 轻微的光晕/雾化

  • 不自然或怪异的面部

  • 单调的构图

  • 我不喜欢它们

所有图像均标注为 "by pfc",因为该标记在训练前极为罕见且影响微弱。

更多细节:

  • 在 RTX 4090 上以批次大小 8、梯度累积步数 8 训练了 60 个周期(共 100 个周期),耗时约 2 小时

  • 训练可能不充分,因为我未等到 100 个周期便提前停止

  • 仅训练了 U-Net

  • 网络/卷积秩为 8,Alpha 为 4,以减弱效果

  • 使用 ProdigyWithScheduleFree 优化器(https://github.com/kohya-ss/sd-scripts/issues/1796),因为其最新且效果最佳,且 v-pred 模型难以训练

  • 去偏估计损失优于 Min Gamma SNR

未来计划:

  • 扩展/精简数据集,仅保留最丑的图像

  • 尝试使用 DoRA 进行训练

  • 尝试使用标签训练(若不会使结果更差)

此模型生成的图像

未找到图像。