LyCORIS-GEM

这是一个在我的MIX-GEM-T2_2模型（以及一些其他MIX-GEM输出以弥补数据缺口）输出基础上训练的实验性LoCon。我花了大量时间将该模型微调到我理想中的美学风格，因此我更倾向于直接从该模型中提取风格，而不是从头开始在新的SDXL基础模型上进行混搭。输出结果并不干净，这个LoCon存在很多问题。我可能需要多次用更干净的输出重新生成数据集。很可能这个LoCon会有很多版本，这将是一个迭代过程，需要反复重训。

通过原型设计获得的见解：

• 在PonyXL上训练风格LoCon时，Prodigy的表现比AdamW8bit更差，即使使用更高的学习率，它保留的风格信息也远少于AdamW8bit。但Prodigy会更快地破坏基础模型的姿态，而AdamW8bit则更能保留原始姿态。

• LoCons在训练风格方面优于LoRAs。

• 风格保留往往伴随着放大细微错误。这在普通风格训练中不是大问题，但在基于SD1.5输出进行训练时却极为棘手，因为无用的噪声会扩散到缺乏美学意义的随机元素中。因此必须严格筛选仅使用干净的输出。

未来可尝试的方向：

• 使用白色背景正则化图像

• 尽可能隐藏手部

• 将受版权保护的角色纳入数据集

测试发现，不知为何，这个LoCon在autismMixSDXL上表现很差，导致大量细节被冲淡，但在4th tail上却表现极佳。