fetal movement

v1과 동일한 데이터셋이지만, 최악의 이미지 약 25%를 제거했습니다.

학습 노트:

• Kohya의 트레이너

• 옵티마이저 ADOPT

• optimizer_args

  • "betas=(0.9, 0.9999)" "eps=1e-7"

  • weight_decay는 DoRA에 심각한 해를 끼쳤기 때문에 이를 사용하지 않고 학습했습니다

• DoRa LoCon

• 고정된 텍스트 인코더(학습 시간이 증가했지만, 가능하면 TE를 건드리지 않는 것을 선호함)

• lr 5e-4

• dim 16

• alpha 8

• conv_dim 8

• conv_alpha 4

• batch 8

• GA 16

• 3,000장의 이미지

• flip

• bucket

• 해상도 1024

• tag dropout 0.1

• dropout 0.2

• caption_dropout 0.1

• scale_weight_norms 6

• ip_noise_gamma 0.02

• min_snr_gamma 2

• zsnr

• v_pred

• 추가 사항:

  • 기본 공식 대신 soft_min_snr 사용

  • 학습된 타임스텝 손실 가중치: 각 타임스텝에 대한 손실 스케일을 학습하는 작은 네트워크. min_snr과 유사한 목적

  • 중요한 태그를 앞쪽으로 정렬하고, 기타 태그와 별도로 정렬

  • 일반적인 암시적 태그 전부에 대해 태그 암시 드롭아웃 ~40% 드롭