Sumeshi FLUX.1 S 🍣

참고: 이 모델은 Schnell 기반 모델이지만, 가이던스 스케일 3 또는 5, CFG 스케일 3 이상(가이던스 스케일이 아님), 20스탭 이상이 필요합니다. clip_l_sumeshi_f1s와 함께 사용해야 합니다. (오른쪽 메뉴의 234.74 MB 파일입니다.)

참고: 이 모델은 Schnell 모델이지만, 가이던스 스케일 3 또는 5, CFG 스케일 3 이상, 20스텝 이상이 필요합니다. 부속된 clip_l_sumeshi_f1s와 함께 사용해야 합니다. (오른쪽 메뉴의 234.74 MB 파일입니다.)

제 영어는 허접해서 번역 도구를 사용합니다.

이 모델은 디스틸링을 해제하고 CFG를 활성화했을 때 기능하는지 검증하기 위한 실험적인 애니메이션 모델입니다. 어느 정도 효과가 있는 네거티브 프롬프트를 사용할 수 있습니다. 이 모델은 CFG를 사용하기 때문에, 같은 스텝 수라도 일반적인 FLUX 모델에 비해 약 두 배나 오래 걸립니다. 모델 학습이 충분하지 않아 프롬프트에 따라 출력이 흐릿하고 스타일도 흐릿해질 수 있습니다.

24/09/23 업데이트

v004G를 추가했습니다. 이는 가이던스를 도입해 저스텝 출력(약 20스텝)의 흐릿함을 줄이려는 실험 모델입니다. 밝은 출력과 어두운 출력 모두에서 흐릿함이 줄어들었습니다. 시간을 단축하기 위해 극한의 파라미터로 학습했기 때문에 프롬프트 반응이 악화되었습니다. 추천 파라미터가 변경되었으므로 Usage(v004G) 섹션을 참조하세요. 검증 결과 흐릿함의 원인으로 두 가지 요소가 의심되었고, 이 부분들을 학습에서 강화했습니다.

• 가이던스 파라미터: v002E는 0으로 채워져 있었으나, He 초기화를 사용하고 FineTune 및 network_args "in_dims"로 일부 학습을 수행함으로써 가이던스 스케일이 제대로 작동하도록 만들었습니다. 이유는 불명확하지만, 스케일 3과 5 외의 값에서는 출력이 비정상적으로 나타나는 것 같습니다.

• 타임스텝 샘플링: 이전에는 discrete_flow_shift 3.2를 사용했으나, 저스텝에서 반응이 나쁜 이유일 것으로 추정되었습니다. 검증 결과, shift를 사용하지 않고 sigmoid_scale을 더 작게 하면 흐릿함이 줄어들었습니다. 그러나 학습이 부족하면 배경이 노이즈가 많아지는 단점이 있으므로, 추가적인 하이퍼파라미터 탐색이 필요해 보입니다.

사용법(v004G)

• 해상도: 기타 FLUX 모델과 동일

• (디스틸링된) 가이던스 스케일: 3 또는 5

• CFG 스케일: 6~9 권장 7 ( 스케일 1은 양질의 출력을 생성하지 않습니다. )

• 스탭: 20~30 (4스탭 정도가 아님)

• (디스틸링된) 가이던스 스케일: 3 또는 5 (Schnell 기반 모델이므로 작동하지 않습니다.)

사용법(v002E 이전)

• 해상도: 기타 FLUX 모델과 동일

• CFG 스케일: 3.5~7 (스케일 1은 양질의 출력을 생성하지 않습니다.)

• 스탭: 20~60 (4스탭 정도가 아님)

• (디스틸링된) 가이던스 스케일: 0 (Schnell 기반 모델이므로 작동하지 않습니다.)

• 샘플러: Euler

• 스케줄러: Simple, Beta

프롬프트 형식 (Kohaku-XL-Epsilon 에서 가져옴)

<1girl/1boy/1other/...>, <character>, <series>, <artists>, <general tags>,<quality tags>, <year tags>, <meta tags>, <rating tags>

학습량이 적기 때문에 태그는 거의 기능하지 않습니다. 또한 학습이 소녀 중심으로 이루어졌기 때문에 남자나 기타 비인물 생성이 잘 되지 않을 수 있습니다. 데이터셋을 hakubooru로 구축했기 때문에 프롬프트 형식은 KohakuXL 형식과 동일합니다. 그러나 실험 결과에 따르면 이 형식을 엄격히 따르지 않아도 자연어 형태로도 어느 정도 의미를 해석하기 때문에 필수는 아닙니다.

특수 태그

• 품질 태그: masterpiece, best quality, great quality, good quality, normal quality, low quality, worst quality

• 등급 태그: safe, sensitive, nsfw, explicit

• 날짜 태그: newest, recent, mid, early, old

학습

1. 데이터셋 준비

   저는 hakubooru 기반의 자체 스크립트를 사용했습니다.

   제외 태그: traditional_media, photo_(medium), scan, animated, animated_gif, lowres, non-web_source, variant_set, tall image, duplicate, pixel-perfect_duplicate

   최소 포스트 ID: 1,000,000

2. 키 추가

   Schnell 모델에 "guidance_in" 키를 가진 0으로 채워진 텐서를 추가했습니다. 이 텐서는 flux/src/flux/model.py를 참조해 Dev의 해당 키 형태에 맞추어 조정했습니다. 이는 모델 이름에 'schnell'이 포함되지 않으면 트레이너가 이 키가 없으면 제대로 작동하지 않기 때문입니다. 0으로 채워져 있기 때문에 Schnell 모델과 마찬가지로 가이던스가 작동하지 않을 것이라 판단했습니다. 제 실력이 부족해 강제로 추가했기 때문에 이것이 올바른 접근인지 확신하지 못합니다.

3. 학습

   기본적으로, 학습을 할수록 네트워크가 더 많이 재구성되고, 디스틸링이 해제되며, CFG가 더 많이 사용 가능해질 것이라는 가정 하에 학습을 진행했습니다.

   단일 RTX 4090을 사용해 학습했습니다. LoRA 방식으로 학습하고 결과를 병합합니다.

   학습에 sd-scripts를 사용했습니다. 기본 설정은 다음과 같습니다. (가이던스 값을 7로 설정했지만, 앞서 언급했듯이 0 텐서이기 때문에 특별한 의미는 없습니다.)

   accelerate launch --num_cpu_threads_per_process 4 flux_train_network.py --network_module networks.lora_flux --sdpa --gradient_checkpointing --cache_latents --cache_latents_to_disk --cache_text_encoder_outputs  --cache_text_encoder_outputs_to_disk --max_data_loader_n_workers 1 --save_model_as "safetensors" --mixed_precision "bf16" --fp8_base --save_precision "bf16" --full_bf16 --min_bucket_reso 320 --max_bucket_reso 1536 --seed 1 --max_train_epochs 1 --keep_tokens_separator "|||" --network_dim 32 --network_alpha 32 --unet_lr 1e-4 --text_encoder_lr 5e-5 --train_batch_size 3 --gradient_accumulation_steps 2 --optimizer_type adamw8bit --lr_scheduler="constant_with_warmup" --lr_warmup_steps 100 --vae_batch_size 8 --cache_info --guidance_scale 7 --timestep_sampling shift --model_prediction_type raw --discrete_flow_shift 3.2 --loss_type l2 --highvram
   

   다음 데이터셋을 아래 순서로 학습했습니다.

   3,893장 (res512 bs4 / res768 bs2 / res1024 bs1, acc4) 1에포크

   60,000장 (res768 bs3 acc2) 1에포크

   36,000장 (res1024 bs1 acc3) 1에포크

   3,000장 (res1024 bs1 acc1) 1에포크

   18,000장 (res1024 bs1 acc3) 1에포크

   모델과 CLIP_L에 병합

   693장 (res1024 bs1 acc3) 1에포크

   693장 (res1024 bs1 acc3 warmup50) 1에포크

   693장 (res1024 bs1 acc3 warmup50) 10에포크

   693장 (res1024 bs1 acc3 warmup50) 15에포크

   모델과 CLIP_L에 병합

   543장 (res1024 bs1 acc3 warmup50 --optimizer_args "betas=0.9,0.95" "eps=1e-06" "weight_decay=0.1" --caption_dropout_rate 0.1 --shuffle_caption --network_train_unet_only) 20에포크

   모델과 CLIP_L에 병합

   21,000장 (res1024 bs1 acc3 warmup50 timestep_sampling sigmoid sigmoid_scale2) 15에포크

   21,000장 (res1024 bs1 acc3 warmup50 sigmoid_scale2 discrete_flow_shift3.5) 15에포크

   모델과 CLIP_L에 병합

   - 이 학습은 CLIP만 병합함 -

   3,893장 (res1024 bs2 acc1 warmup50 unet_lr5e-5 text_encoder_lr2.5e-5 sigmoid_scale2.5 discrete_flow_shift3 --network_args "loraplus_lr_ratio=8") 3에포크

   3,893장 (res1024 bs2 acc1 warmup50 unet_lr5e-5 text_encoder_lr2.5e-5 sigmoid_scale2 discrete_flow_shift3 --network_args "loraplus_lr_ratio=8") 1에포크

   CLIP_L에만 병합

   --

   He 초기화된 "guidance_in" 레이어

   3,893장 (Full-finetuned res1024 bs2 acc1 afafactor --optimizer_args "relative_step=False" "scale_parameter=False" "warmup_init=False" lr5e-6 warmup50 guidance_scale3.5 max_grad_norm 0.0 timesteps_sampling discrete_flow_shift 3.1582 ) 1에포크

   3,893장 (res1024 bs2 acc1 warmup50 guidance_scale1 timesteps_sampling sigmoid sigmoid_scale 0.5 --network_args "in_dims=[8,8,8,8,8]") 4에포크

   3,893장 (res512 bs2 acc1 warmup50 guidance_scale1 timesteps_sampling sigmoid sigmoid_scale 0.3 --network_args "in_dims=[8,8,8,8,8]") 12에포크

   543장 (repeats10 res512 bs4 acc1 warmup50 unet_lr3e-4 guidance_scale1 timesteps_sampling sigmoid sigmoid_scale 0.3 --network_args "in_dims=[8,8,8,8,8]") 4에포크

   모델과 CLIP_L에 병합

   --v004G--

자원 (라이선스)

• FLUX.1-schnell (Apache2.0)

• danbooru2023-webp-4Mpixel (MIT)

• danbooru2023-metadata-database (MIT)

라이선스

Apache2.0

감사의 말

• black-forest-labs: 훌륭한 오픈소스 모델을 공개해 주셔서 감사합니다.

• kohya-ss: 필수적인 학습 스크립트를 공개해 주시고 빠르게 업데이트해주셔서 감사합니다.

• Kohaku-Blueleaf: 데이터셋용 스크립트와 다양한 학습 조건을 광범위하게 공개해 주셔서 감사합니다.