Tetori(Orisries)

来自游戏《Orisries》的圣教会天使Tetori，共使用了近300张混合图像进行训练。

前两个模型分别使用了3000张和约300张图像进行训练？

---

这款游戏所使用的颜色似乎容易导致细节坍塌。这是我经过多次训练后提出的一种解决方案实验。

与其他结果相比，这种方案似乎好得多。我使用了余弦调度和adamw8bit的学习率调整，但进行了两次训练，并通过中断保存状态以继续训练和调整。

首先，使用较大的学习率（25e-4）训练约三到四轮，然后将训练轮数翻倍，并将学习率调整为1e-45e-5，两次的权重衰减均为0.1。

可以先快速搜索整体的大范围空间，待大致正确后再补充细节。这种方法看起来合理吗？

也有观点建议第一次使用恒定的大学习率，第二次使用余弦小学习率。哪种方式更高效？这是从LLM和其他技术中学习到的。