One-image LoRAs vol.1

이것은 각각 1장의 이미지에 대해 학습된 LoRA들로 구성된 실험적인 컬렉션입니다. 분명히 과적합되어 있지만, 이는 의도된 결과입니다.

주의하세요 결과가 자주 불안정하므로, 트리거 단어 사용 여부를 적절히 조절하세요. 사용 중에 LoRA의 비율이나 트리거 단어를 변경할 수 있으면 망설이지 마세요.

기본 모델은 Suzumehachi입니다.

업데이트:

워크플로우.

이를 생성하는 방법은 다음과 같습니다. 흥미로운 이미지를 찾은 후, 그 이미지를 사각형으로 만든거나 수동으로 하나 또는 두 개의 흥미로운 부분으로 잘라냅니다. 이후 BLIP(때문에 DeepDanbooru를 함께 사용하는 경우도 있음)을 사용해 이미지를 설명하는 문구를 생성하고, 문제 없이 잘 생성되었는지 확인합니다. 이후 보통은 특수한 트리거 단어를 추가하여 불규칙한 프롬프트 환경에서 LoRA가 약해지지 않도록 보완합니다.

저는 다음 파라미터를 사용한 kohya를 사용합니다(가장 중요한 파라미터만 표시):

number of steps for dataset image - 100-200

--network_alpha="128"

--text_encoder_lr=5e-5

--unet_lr=0.0001

--network_dim="128"

--lr_scheduler_num_cycles="1"

--learning_rate="0.0001"

--lr_scheduler="constant"

--train_batch_size="2"

--mixed_precision="bf16"

--clip_skip=2

--noise_offset=0.1

--min_snr_gamma=5

다른 워크플로우의 영향으로 인해, 다른 시드값을 사용해 LoRA를 4개의 변형으로 만들고, 약 0.7의 곱셈 계수로 쌍으로 결합합니다:

python.exe "networks\merge_lora.py" --save_precision fp16 --precision fp16 --save_to combined_lora.safetensors --models lora_1.safetensors lora_2.safetensors --ratios 0.7 0.7

문제가 발생하면 다른 곱셈 계수로 재결합하거나 일부 LoRA 아웃라이어를 제외합니다.