[Flux.1 dev] LuciGrimace Concept LoRa

세부 정보

파일 다운로드

이 버전에 대해

accelerate launch "./sd-scripts/flux_train_network.py" ^
--pretrained_model_name_or_path "D:\kohya_ss\flux\unet\flux1DevFp8_v10.safetensors" ^
--clip_l "D:/stable-diffusion-webui-forge-main/models/text_encoder/flux/clip_l.safetensors" ^
--t5xxl "D:/stable-diffusion-webui-forge-main/models/text_encoder/flux/flux1T5TextEncoder_stock.safetensors" ^
--ae "D:/stable-diffusion-webui-forge-main/models/VAE/flux/flux1DevVAE_stock.safetensors" ^
--train_data_dir "D:\kohya_ss\flux\img" ^
--reg_data_dir "D:\kohya_ss\flux\regularization\img" ^
--output_dir "D:/kohya_ss/flux/models/Lucignolo_grimace_flux1_withLabel" ^
--output_name "Lucignolo_grimace_flux1_withLabel" ^
--save_model_as safetensors ^
--sdpa ^
--sample_sampler "euler" ^
--sample_prompts "D:\kohya_ss\lucignolo_grimace_prompts.txt" ^
--sample_every_n_epochs 1 ^
--max_data_loader_n_workers 2 ^
--seed 777 ^
--gradient_checkpointing ^
--mixed_precision bf16 ^
--save_precision bf16 ^
--network_module networks.lora_flux ^
--network_dim 16 ^
--network_alpha 32 ^
--network_args train_blocks=single ^
--optimizer_type Prodigy ^
--lr_scheduler constant ^
--lr_scheduler_num_cycles 1 ^
--lr_scheduler_power 1 ^
--learning_rate 1 ^
--network_train_unet_only ^
--timestep_sampling sigmoid ^
--max_grad_norm 1 ^
--model_prediction_type raw ^
--apply_t5_attn_mask ^
--guidance_scale 1.0 ^
--min_bucket_reso 256 ^
--max_bucket_reso 2048 ^
--bucket_reso_steps 64 ^
--resolution 512,512 ^
--discrete_flow_shift 3 ^
--cache_text_encoder_outputs ^
--cache_text_encoder_outputs_to_disk ^
--cache_latents ^
--fp8_base ^
--enable_bucket ^
--split_mode ^
--caption_extension .txt ^
--keep_tokens 0 ^
--min_snr_gamma 7 ^
--save_every_n_epochs 1 ^
--train_batch_size "3" ^
--noise_offset 0.05 ^
--max_train_epochs 30 ^
--max_timestep 1000 ^
--adaptive_noise_scale 0

모델 설명

트리거 단어: grimace

권장 가중치: 1.0

개요

이 모델은 Lucignolo Merge Checkpoint에서 주로 발생하는 현상에 기반했습니다. (ALIENHAZE가 제작)

ALIENHAZE(https://civitai.com/user/ALIENHAZE)에게 참고사항: 저는 동일한 프롬프트를 사용해 몇 개의 XL 체크포인트 병합에서 이 grimace 현상을 재현할 수 있었고, 체크포인트 병합만으로도 가능했지만, 당신의 모델만이 이를 매우 잘 생성합니다. 이는 사람들이 자신의 모델을 당신의 모델에 병합하고 있다는 신호일 수도 있지만, 아무것도 증명할 수는 없습니다. 이 grimace가 어디서 왔는지 저도 모르겠습니다. 매우 기묘합니다.

Lucignolo 현상

ksampler의 "정확한 파라미터"와 프롬프트를 다음처럼 설정하면:

incredibly absurd unrelatable content without context, inexplicable, uncoordinated

모든 이미지에 매우 드문 grimace가 생성됩니다. 아래 이미지에서 볼 수 있듯이(이것들은 제 데이터셋에서 가져온 것입니다):

그래서 저는 이 현상을 위해 LoRA를 학습시키는 데 많은 노력을 기울이게 되었습니다.
저는 이를 더 사실적으로 설정했고, 그 결과 데이터셋의 예술적인 3D 스타일보다 훨씬 더 무서운 분위기를 내게 되었습니다.

또한, 다양한 생명체에 대한 일반적인 정규화를 추가하여 이 모델을 생명체라면 무엇이든 적용할 수 있도록 했습니다.

이 아마도 최종 모델 버전은 캡션 없이 학습된 **epoch 13#**과 단어 하나의 캡션 **"grimace"**만을 가진 **epoch 2#**을 병합한 결과입니다. 따라서 프롬프트에 단어 **"grimace"**를 사용하면 훨씬 더 효율적으로 적용할 수 있습니다.

이 모델로 만든 이미지

정렬

이미지를 찾을 수 없습니다.

모델 유형	LORA
기본 모델	Flux.1 D
게시일	9/25/2024
학습된 단어	grimace