エリーゼ・ルタス Elize Lutus (TALES OF XILLIA) XLPony

Lora+、CosineAnnealingLR、PagedAdamW8bitの組み合わせテスト

20エポックで形になったが、Lossがきれいな低下傾向だったため、100エポックまで学習させたLoRA

--lr_scheduler_type "CosineAnnealingLR" --lr_scheduler_args "T_max=900" "eta_min=0e-0" --network_args "loraplus_lr_ratio=16"

途中で、T_maxは学習率が底になるように設定した方が良いことに気づいた。

PagedAdamW8bitは、VRAMに余裕があればAdamW8bitで十分だったとか。

推奨ネガティブ

blurred details,blur,blurred,upscaled image

アップスケールとラマクリーナーで一部ディテールが潰れた画像があるため

Combination Test of Lora+, CosineAnnealingLR, and PagedAdamW8bit

This LoRA model showed promising results after 20 epochs, with a clear downward trend in Loss, so I extended training to 100 epochs.

Parameters:

• LR Scheduler Type: CosineAnnealingLR

• LR Scheduler Args: T_max=900, eta_min=0e-0

• Network Args: loraplus_lr_ratio=16

Observations

• T_max Setting: It's better to set T_max to ensure the learning rate reaches its minimum.

• Optimizer Choice: PagedAdamW8bit was used, but AdamW8bit would have been sufficient if VRAM was available.

Recommended Negative Prompts

• Prompts: blurred details, blur, blurred, upscaled image

• Reason: Some images had details blurred due to upscaling and using the Lama Cleaner.

余談

スペルはzだ

ロータス・エリーゼという名車があるのでスペルミスでちょっと無駄なことをした