hose_in-SDXL

v1과 유사한 데이터셋으로, 잘못 태그된 이미지(약 15%)와 품질이 낮은 이미지를 제거하고 Noob_vpred로 학습했습니다.

학습 노트:

• Kohya의 트레이너

• 옵티마이저 ADOPT

• optimizer_args

  • "betas=(0.9, 0.9999)" "eps=1e-7"

  • 이전 몇 주 동안 이 크기의 데이터셋으로 학습하면서 ADOPT에 대해 발견한 최적의 설정입니다.

• DoRa LoCon

• 고정된 텍스트 인코더(학습 시간이 증가하지만, 가능하면 TE는 건드리지 않는 편이 좋습니다)

• lr 5e-4

• dim 16

• alpha 8

• conv_dim 8

• conv_alpha 4

• batch 8

• GA 16

• 2.6k개의 이미지

• flip

• bucket

• 해상도 1024

• 태그 드롭아웃 0.1

• 드롭아웃 0.2

• caption_dropout 0.1

• scale_weight_norms 6

• ip_noise_gamma 0.02

• min_snr_gamma 2

• zsnr

• v_pred

• 추가 사항:

  • 기본 공식 대신 soft_min_snr 사용

  • 학습된 타임스텝 손실 가중치: 각 타임스텝에 대한 손실 스케일을 학습하는 작은 네트워크. min_snr과 유사한 목표

  • 중요한 태그를 앞쪽으로 정렬하고 다른 태그들과 별도로 정렬

  • 일반적인 암시적 태그 모두에 대해 태그 암시 드롭아웃 (~40% 드롭)