masked sankanba-XL マスクド三冠馬 (UmaMusume??)

画像枚数を増やし、gradient_checkpointingの使用やオプティマイザの変更など、KohakuDELTAのトレーニングパラメーターを参考に変更。

潰れがちだった細部の表現力を向上。

accelerate launch 
--bucket_reso_steps=64 
--cache_latents 
--cache_latents_to_disk 
--caption_dropout_rate="0.05" 
--min_bucket_reso=256 
--max_bucket_reso=4096 
--fp8_base 
--gradient_accumulation_steps=8 
--gradient_checkpointing 
--keep_tokens="2" 
--learning_rate="4e-05" 
--lr_scheduler="constant" 
--lr_scheduler_num_cycles="50"
--max_grad_norm="1" 
--resolution="1024,1024" 
--max_train_epochs=50 
--max_train_steps="709"
 --min_snr_gamma=5 
--mixed_precision="bf16" 
--network_alpha="62"
 --network_dim=62 
--optimizer_type="Lion8bit" 
--prior_loss_weight=0.1 
--save_every_n_epochs="10"
--shuffle_caption 
--text_encoder_lr=1e-05 
--train_batch_size="3" 
--unet_lr=4e-05