DJZ AssassinKahb [Cascade Test Lora]

V1 기준선을 생성하는 데 사용된 평가 LoRA.
다음 버전을 위해 학습 설정을 개선했음;
V2 - ADAFACTOR, Rank 16, Alpha 1
V3 - Rank 32, Alpha 1
v3b - rank 32, alpha 8
v3c - rank 32, alpha 4
V4 - 모두 수정된 설정으로 ADAFACTOR를 사용하여 학습됨. Rank 64, Alpha 1

라운드 2

V5 - 최종 설정으로 ADAFACTOR를 사용하여 학습, Rank 32, Alpha 1, 학습률 감소, LR 2e3

PRODIGY로 전환

V6-early = ADAFACTOR, Rank 32, Alpha 1
V6 = ADAFACTOR, Rank 32, Alpha 1

오프셋 노이즈 0.06
V7-early = PRODIGY, Rank 64, Alpha 1
V7 = PRODIGY, Rank 64, Alpha 1

initialD 1e-06

V8-early = PRODIGY, Rank 64, Alpha 1
V8-mid = PRODIGY, Rank 64, Alpha 1

V8 = PRODIGY, Rank 64, Alpha 1

비디오에서 보여지듯, 초기 에포크는 txt2img 이상의 성능을 더 잘 발휘하는 것으로 보임.

연구 발표: https://www.figma.com/file/NM9dSIwcKoyZpOSYqi4pKs/OneTrainer-Stable-Cascade-(LR-adjustment)

모델: /model/320332 데이터셋: https://github.com/MushroomFleet/assassinKahb-1024

기사: OneTrainer로 Stable Cascade 학습