Anima-x
세부 정보
파일 다운로드 (1)
모델 설명
这是一个实验模型的第一版，使用类似Reflow的方法将模型尝试转换为x-pred
数据集使用了一定方式生成的纯tag 213000条，知识损失未查
训练项目代码与脚本在https://github.com/leafmoone/RUM-anima-x.git
需要单独的Comfyui节点 https://github.com/leafmoone/ComfyUI-RUM-Anima-XPred.git
参考工作为
RimoChan/RUM: 【RUM】用跨架构蒸馏代替继续预训练！
akatsuki-neo/JLT: JLT: Clean-Latent Prediction in Latent Diffusion Transformers
Minthy/Anime-Art-Multicaptions-v5.0 · Datasets at Hugging Face
试验版本，之后会使用纯tag和从Anime-Art-Multicaptions-v5.0提取出的110k nl再训练一个epoch，算力和存储有限，而且anima的架构确实不讨喜，不会进行大规模的后训练（给卡包练的），训练代码为上面项目，有需求的建议详细阅读JLT和JIT两篇论文，数学和代码上检查项目没有问题后再进行大规模后训练
类似Reflow的方法，理论上cfg和step都可以降低，建议自己尝试
这版是加训完的版本，总共是纯tag 213000*2 ，multicap_mix_30k，short_nl_50k,long_names_10k,long_no_names_10k,min_individual_json_flat_10k
其实直到训练结束loss都还有下降趋势，感觉应该多练会，但是感觉数据集这么小练下去也是灾难性遗忘不想浪费算力了，训练时间和缓存加起来大概单卡5090一周左右吧