通过在基础模型上以两倍强度应用LoRA模型来计算训练中的损失,从而提高了稳定性;推理时使用推荐的强度0.6。
它在训练时使用了NF4权重,并遵循了原始Turbo模型的步骤(与其他训练器不同)。使用了自定义脚本,相较于其他LoRA稍显过度训练。
已在Haoming的_A1111 Forge Neo_中以bfloat16精度进行测试。