IllusPony

这是 Illustrious 2.0 和 Pony 模型的合并版本，旨在消除 Illustrious 2.0 的缺点。

独到见解

老实说，Illustrious 2.0 被过度吹捧了，它仅在 Danbooru 图像数据集上进行训练，这使得它非常适合生成色情内容，但其仅训练到第 2 个 Epoch，使用 2000 万数据集和批量 512，导致它在任何单一任务上都不出色，样样通样样松，甚至连姿势都无法正确呈现。它对艺术家名称有严重偏倚，因此你必须使用这些名称才能获得效果。由于大量旧图的存在，实际渲染结果呈现为卡通着色风格，这对动漫模型而言是糟糕的。Pony 模型在一定程度上克服了这个问题，但需要进行适当训练，它的名字并不能真正反映模型的实际能力。

在合并过程中，我尝试了不同的层，测试了大量模型组合，老实说，有一半的层毫无用处，因为它们会产生 NaN。只有少数几层有效：

XL 中的 MID 1、2、3：这三层负责风格、形状和色彩。

Out 7、6、5、4
In 9、8、7、6
你可以围绕这些层进行调整。

总体而言，这导致大多数在 Pony、Autism、NAI 等数据集上训练的 LoRA（及其变体）几乎毫无用处。

这也因为艺术家名称在模型训练中占据了极大比重。

训练时他们选择了 4e-5 的学习率，这是一个介于角色训练和风格训练之间的中间值，但模型仅学到了艺术家的风格，因此存在伦理问题——你必须使用“{XXX} 的艺术风格”这样的表述，导致任何泛化术语都无法使用。