The Garbage-Bin | Chaos Enhancer + Concepts LyCORIS

거기 있는 와후가 참 멋지군요. 누군가 그녀를 파파존스의 마늘 버터 소스에 담그면 안타까울 텐데요.

* 참고: InvokeAI 구문을 변환한 예시 이미지 프롬프트이며, 완전히 정확하지 않을 수 있습니다. 저는 단순히 Invoke를 사용할 뿐입니다.

여러분을 환영합니다, 쓰레기통에 오신 걸 환영합니다! 이 LoHa LyCORIS(자동1111에서 사용하려면 확장 프로그램이 필요합니다)는 441장의 완전히 미친 이미지로 학습되어 혼란과 엉망진창 스파게티 악몽을 만들어내는 데 도움을 줍니다. 필요에 따라 상당히 높은 강도(일부 모델에서는 1.5)까지 안전하게 사용할 수 있습니다. 주로 526Mix의 txt2img 생성물을 사용해 학습되었으므로, 이 믹스에서는 강도를 낮게 유지하고, 다른 계열의 모델에서는 강도를 높이는 것이 좋습니다.

LoHa는 두 가지 버전으로 제공됩니다:

1. 약간 더 강력하고 창의적인 버전으로, 더 많은 스타일적 요소와 하위 개념을 포착하도록 학습되었지만, 특정 모델과 스타일과 충돌할 수 있습니다.

2. 약간 더 약하고 덜 복잡한 버전으로, 학습이 개념에만 집중되어 있어 안전하지만, 더 많은 조정이 필요할 수 있습니다.

사용법과 개념

수동적 사용

수동적으로 사용할 때, 이 LoHa는 혼란스러운 프롬프트에서 유도되는 창의성과 혼란을 높이는 데 도움을 줍니다.

그러나 처음부터 일정 수준의 혼란이 있어야 효과를 볼 수 있습니다. 예를 들어, 프롬프트와 모델이 100 중 2의 혼란 수준을 생성한다면, 그 값을 2배로 늘려도 여전히 가장 낮은 수준에 머무르게 됩니다. 제가 말하고자 하는 바가 이해되시나요? 좋습니다.

참고로, 효과는 모델과 프롬프트마다 극명하게 다릅니다. 만족도를 보장할 수는 없으며, 이는 여러분이 직접 찾아야 할 부분입니다.

특정 주제나 장르에 강하게 최적화된 모델은 다른 모델에 비해 항상 어려움을 겪을 수 있습니다. 심지어 MeinaMix나 서양 애니메이션처럼 기본적인 모델이라 하더라도, MothMix나 526Mix처럼 극심한 혼란을 얻지는 못하고 단지 약간의 조정만 이루어질 수 있습니다.

개념

이 LoHa는 몇 가지 특별히 학습된 개념을 포함하고 있습니다. 현재 이 개념들은 다음과 같습니다:

1. 스파게티. 필요한 강도를 제공하면 스파게티의 양과 질을 향상시킵니다.

2. 엉망진창. 깊은 접시의 라자냐에 소스를 듬뿍 올려 들고 걷다가 미끄러져 넘어진 상상을 해보세요. 넘어지며 패닉에 빠져 공중에서 라자냐를 천장 선풍기 쪽으로 주먹으로 쳐버리는 거죠.

3. 젖은. 촉촉한 상태를 의미합니다.

4. 악몽. 개선이 필요합니다. 무언가를 합니다. 정확히 무엇인지 모르겠습니다.

네, 그것들이 트리거 단어입니다.

학습

이 LoHa는 InvokeAI Discord 서버의 쓰레기통 채널에서 직접 얻은 프롬프트와 이미지 441장을 사용해 학습되었습니다. 데이터셋의 적어도 90%는 526Mix-V1.4.5를 사용해 생성되었고, 대부분의 이미지는 네거티브 임베딩을 사용해 현실감을 높인 사진 스타일이었습니다.

학습은 여러 번의 도전을 요구했습니다. 기본 Stable Diffusion 1.5나 DreamShaper 같은 1.5 믹스를 사용하면, 제가 최선을 다해도 세부 사항과 조명 효과가 너무 많이 학습되었습니다. 개념을 세부 수준과 스타일에서 분리하기 위해, 개념 전용 버전은 526Mix에서 직접 학습되었고, 약간 더 강력한 버전은 526Mix에 기본 Stable Diffusion 1.5를 25% 섞어 학습을 반복했습니다.

학습은 kohya_ss GUI 버전을 사용해 DAdaptAdam 옵티마이저와 0.75의 가중치 감쇠로 수행되었습니다. 아래는 LoHa 학습에 사용된 관련 파라미터입니다:

accelerate launch --num_cpu_threads_per_process=2 "train_network.py" --enable_bucket --network_alpha="16" --save_model_as=safetensors --network_module=lycoris.kohya --network_args "conv_dim=1" "conv_alpha=1" "use_cp=False" "algo=loha" --network_dropout="0" --text_encoder_lr=1.0 --unet_lr=1.0 --network_dim=32 --lr_scheduler_num_cycles="4" --scale_weight_norms="1" --learning_rate="1.0" --lr_scheduler="cosine" --lr_warmup_steps="260" --train_batch_size="1" --max_train_steps="2604" --save_every_n_epochs="1" --mixed_precision="fp16" --save_precision="fp16" --caption_extension=".txt" --cache_latents --optimizer_type="DAdaptAdam" --optimizer_args weight_decay=0.75 decouple=True betas=0.9,0.99 --max_data_loader_n_workers="0" --keep_tokens="1" --bucket_reso_steps=64 --min_snr_gamma=5 --mem_eff_attn --shuffle_caption --bucket_no_upscale

제가 사용하는 약한 RX 6600 그래픽 카드에서는 배치 크기가 1을 넘으면 VRAM이 부족해졌고, 학습은 약 54분 정도 소요되었습니다.