トレーニング中の損失を、LoRAモデルをベースモデルに通常の2倍の強さで適用しながら計算することで、安定性が向上しました。推論は推奨される強さ0.6で行われます。
NF4ウェイトを使用してトレーニングされ、オリジナルのTurboモデルのステップを尊重しました(他のトレーナーとは異なります)。カスタムスクリプトを使用し、他のLoRAと比較してやや過剰にトレーニングされました。
Haomingの_A1111 Forge Neo_でbfloat16精度でテスト済み。