Colorful
详情
下载文件
关于此版本
模型描述
由 AiArtLab 制作
Colorfulxl 已发布!但既然我们已有如此出色的 1.5 版本 checkpoints,谁还会在意呢?
非常感谢大家的反馈和作品展示!这给了我极大的动力。
关于 v 8.0:
这是电影感、照片、动漫与艺术的独创融合。

我认为这是最终版本。接下来我可能会专注于 ColorfulXL。目前我看不到还有哪些方面可以进一步优化。感谢所有一路支持我的人(已经超过一年!)尝试不同分辨率,并使用 DPM adaptive 的 1 步生成(但其他采样器配合 10 步可能更快)。
我的设置:
肖像模式:768*1088
风景模式:576*1280
采样器:DPM++2M SDE Karras - 20 步(建议使用 10 步效果更佳)
也适用:Euler a, DPM2, DPM++2s a, DPM++ SDE, DPM++ 2s a Karras
DPM adaptive - 1 步
VAE - 已内置!(Civitai 存在 bug,需指定一个不在该网站上的 VAE:vae-ft-mse-840000-ema-pruned.safetensors)
关于 v 7.3:
一个极具争议且复杂的版本。
对负面提示、采样器、分辨率和步数非常敏感。在艺术创作方面表现可能较差。
实际上,这是试图全面重塑 SD1.5 的一次尝试。然而这常导致解剖结构错误。尽管如此,我认为这是一个有趣的版本,我很期待看到你们用它能创造出什么。
之前

之后

最庞大的训练细节
https://wandb.ai/recoilme/finetuning/runs/nkfsrchd
关于 v 6.2:
我从未在高分辨率训练上得到好运(1280 分辨率——哪怕投入数百万步和 70 美元,结果仍是垃圾)。
因此我回到 v3.7 作为基础,使用 960*576、576*960 和 768*768 进行训练。加入了一些电影感元素。但并非写实类模型(我喜欢艺术风格),更偏向半写实。
请尊重我的时间与资源。若你使用我的模型赚钱,请联系我以达成公平使用协议。
关于 v 5.0:
训练过程艰难,但成本低廉。我总共花费不到 30 美元,以及约 1000 个 Civitai 积分。
首先,我保留了在 768/832 分辨率下以 9-12 步生成的能力。依我判断,其质量优于 Turbo/LCM。但仅适用于部分采样器。

因此,我继续尝试负向训练。此时我训练了“畸形”“低质量”“过度饱和”等 LoRA。

并以不同权重(例如 -0.3)进行合并。
你将惊讶于 SD1.5 中藏有多少垃圾内容!

与此同时,我也训练了一个写实版本。写实风格的训练相当棘手。
例如“女人,被雪覆盖”,呈现出的效果如下:

但得益于 Supermerger 团队以及我自创的余弦相似度合并算法,我们成功修正为类似效果:

最佳比例,一张迷人的乌克兰女性照片,乱发髻,覆盖雪花,皮肤毛孔,背景是冰川山脉,雪景,皮肤细节高,胶片颗粒感
最后提醒:
高分辨率下解剖结构并非完美,这些图取自 832*1024 的批次 4 中挑出的结果。若需更稳定的结构,建议尝试 768*960 低分辨率输出。
尽情享受吧!
关于 v 4.6:
我创建了一个“丑陋”图像数据集

并用其进行训练,再与“差值增益”合并。
之后在 768*968、968*768 等分辨率上,结构略有改善;之前效果

之后效果

但问题在于过度饱和:
经过更深入研究,我发现此方法会造成极大的偏移,不幸的是,尽管修正一处,却会在另一处造成破坏。因此,此法并不优于其他已有方法,或直接训练。
于是,我重新训练,但改用“优质图像”数据集,并使用余弦相似度进行合并!
奇怪的是,我发现有时在极低步数下也能生成高质量图像。
关于 v 3.7:
训练内容。相较于 SDXL,速度提升了约 10 倍。我因习惯导致过拟合,保留了低学习率 4e-7 和 Adafactor(虽然优化不多)。经过 4 个周期后结果已完全正常。仅在一夜加一晚的训练后,模型已彻底掌握写实风格,甚至忘却了过往所有训练内容。接着通过合并方式裁剪,再继续训练 4 个周期——结果再次滑向写实。再次裁剪。
就这样一点一滴进行。在多种宽高比下训练,尤其注重肖像与风景生成。很少有人喜欢生成正方形图像。人偶/卡通风格则锻炼至某种半写实境界。远距离的手/脸/构图表现更好,但尚未完美。
最优分辨率为 768×960。负向提示对质量影响极大,请参考示例——我使用了这个负向提示效果很好,而使用基础负向提示则几乎糟糕不堪。我不清楚原因。
当然,不可能一夜之间把 1.5 改造成 SDXL,但我对结果感到无比满足,就像一头大象那样开心。
联系方式
模型








