Silverjow Style LoRA

지난번에는(예를 들어 6개월 전) LoRA에 관한 연구는 흔히 '밈 과학' 수준이었죠. 이번에는 NovelAI 모델을 기반으로, VAE를 비활성화하고 CLIP 스킵 2를 적용한 상태에서, x512 해상도에서 스타일을 더 합리적으로 학습했으며, 아спект 비율 버킷팅 기능을 추가했습니다. 이제 더 잘 반응하는 듯하고 크기도 훨씬 작아졌습니다(더 작게도 효과적으로 사용할 수 있을 가능성이 있지만, 그건 여러분이 알아서 탐구해보시기 바랍니다). 배치 크기 10으로 A100에서 DAdaptAdam을 사용하여 학습했습니다.