【Art Style】赤倉 | Akakura

2023.11.03

更新至 v3 版本，在 v1 基础上增强了泛化能力。建议使用高分辨率修复（Hires.fix）。示例图采用的放大算法为 R-ESRGAN 4x+ Anime6B，放大倍数为 1.5，迭代次数为 0。

使用 moat v2 对训练集进行标注，优化器为 Lion，学习率默认为 1e-5 和 1e-6，repeat=5，训练 20 个 epoch。本次训练减少了 step 数量，增大了 batch size，训练分辨率为 1024*1024。

在增大 batch size 的过程中发现，若不提高学习率，模型在第 4 个 epoch 时效果最佳（此结论在训练 anmi 模型时亦有体现）。当 epoch ≥7 时，画风开始过拟合；当 epoch ≥16 时，开始收敛至第二个极小值。

因此我认为之前的 LoRA 模型已严重过拟合，决定删除 v1 版本模型。

——————————

2023.09.19

更新 v2 版本，采用 Loha 大幅减小文件体积，以满足部分用户需求。

Loha 等 Lycoris 模型的训练速度极慢（约为正常 LoRA 训练速度的一半），且显存需求较高，训练成本较大，因此我不会训练过多 Loha 模型。

封面图为 Loha 在 NAI（即训练底模）下生成的示例图。相较 LoRA，该模型在 NAI 和 Anything 上表现出轻微欠拟合，但在其他底模上提升了稳定性和泛化性。

实验证明，Loha 适用于画风训练，因为其卷积层能更有效地吸收训练集中的画风及其他抽象信息，从而缓解线性层的学习压力。经测试，较合适的画风训练参数为：dim = 32，conv = 4。alpha 值尚不确定，我倾向于设为与 dim 相同的值，若设得太低，我担心会出现诡异效果。

请确保您的 Stable Diffusion WebUI 更新至最新版本。建议出图分辨率为 704*1024。

——————————

2023.09.02

v1.1 修复了瞳孔部分的问题，建议添加提示词 “dot pupils”、“eyelashes” 等。

所有图片均使用 NovelAI 泄露模型生成，“highres” 可能提升画质；您也可选用 Anything 等二次元模型，细节还原更佳，但在 NSFW 方面效果较差。

选取了 loss 值最低的测试版本（v1.0），发现效果不佳，远景或全身图易出现画面崩坏，因此仍在测试另一版本（v1.1）。

v1.0 目前的核心问题是无法绘制瞳孔。建议添加与瞳孔相关的 tag（如 dot、pupils 等）以强化人物特征，但效果仍不理想。训练过程中发现，随着模型逐渐拟合，loss 值下降的同时，人物瞳孔特征也在逐渐消失。

我认为训练集中存在多种瞳孔类型，但缺乏相应 tag 进行区分，导致训练时各类瞳孔特征发生混合。由于该画师的瞳孔通常较小，为降低 loss，AI 直接将瞳孔识别为噪声并删除。