이것은 사실적인 파란색 돼지용 LoRA입니다.

일반적으로는 작게, 대부분은 분홍색이지만, 돼지는 항상 그렇습니다.

많은 분들이 어떻게 훈련했는지 물어보시기에 설정을 안내합니다:

2023년 5월 15일 업데이트: 에포크를 50으로 변경하고 파일 이름(반복)을 2_XXX로 변경하세요.

1: Koyah_SS GUI

저는 Koyha_SS GUI를 사용하여 LORA를 훈련하고 있습니다.

주요 설정:

"max_resolution": "768,768"

(GPU가 매우 강력하다면 1024,1024를 사용하는 것이 더 좋습니다.)

"learning_rate": "3e-6",

"lr_scheduler": "cosine_with_restarts",

"lr_warmup": "5",

"train_batch_size": 4,

"epoch": "5",

• (2023년 5월 15일: 파일 이름 2_XXX로 변경하고 에포크를 50으로 설정)

"save_every_n_epochs": "40",

"mixed_precision": "bf16",

"save_precision": "bf16",

"enable_bucket": true,

"use_8bit_adam": false,

"text_encoder_lr": "1e-5",

"unet_lr": "5e-5",

"network_dim": 128,

"clip_skip": 2,

"network_alpha": 64,

"persistent_data_loader_workers": true,

"optimizer": "Lion"

하드웨어가 제가 설정한 파라미터를 지원하지 않는다면, 배치 크기를 2 또는 1로 줄여보세요. 그러면 훈련 시간이 크게 증가합니다. 훈련 시간을 줄이고 싶다면, 에포크를 2로 설정하면 해결됩니다.

개인적으로 저는 에포크 5를 사용하는 이유는 내 하드웨어가 이를 지원하며, 더 높은 에포크 값이 소스 이미지에서 더 많은 세부 사항을 포착할 수 있다고 생각하기 때문입니다. 그러나 필수는 아닙니다.

2. 훈련용 이미지 세트:

이미지 선택:

캐셔 높은 해상도(적어도 크롭 전 1024×1024 이상) 이미지 50장. 약 25장의 근접샷, 20장의 상체샷, 5장의 전신샷 포함. 이미지 각도가 많을수록 좋습니다.

전처리:

웹UI에서 자동 초점 캡처를 사용하고, 크롭 크기를 최소 768×768 이상, 최대 1536×1536까지 설정하세요.

BLIP과 Deepdanbooru를 연결하여 캡션을 생성하고, stable-diffusion-webui-wd14-tagger 확장 기능을 이용해 추가 캡션을 생성하세요. 기존 캡션에 추가(append)하는 옵션을 선택하고, _중복 태그 제거_도 함께 선택하세요.

그 후 저는 BooruDatasetTagManager를 사용해 캡션을 직접 원하는 내용으로 수정합니다.

이미지 파일명:

50_XXX

(이것은 이미지 파일 내의 각 이미지가 50번 반복된다는 의미입니다)

• 2023년 5월 15일: 2_XXX이지만 에포크를 50으로 늘림

이제 훈련을 시작할 수 있습니다!

그러나 소스 이미지 선택의 영향으로 인해, 생성된 LoRA에 대해 시도해보고, 마음에 드는 LoRA가 나올 때까지 소스 이미지를 여러 번 수정해야 할 수도 있습니다. 또한每个人的 하드웨어 사양이 다를 수 있으므로, 768×768 크기에서 배치 크기 4로 훈련이 불가능하다면, 배치 크기를 2 또는 1로 시도해보세요.

저는 LoRA 결과가 소스 이미지에 매우 민감하다고 생각합니다. 따라서 이미지 선택과 태깅이 실제로 가장 중요한 부분입니다. 일부 이미지는 LoRA를 시도해보면 ‘나쁜’ 소스 이미지임을 알 수 있습니다. 이를 개선하려면 해당 ‘나쁜’ 이미지를 소스에서 삭제하면 됩니다. 때로는 LoRA 사용 중 문제가 발생해 태그를 수정해야 할 수도 있습니다. 예를 들어, 항상 ‘습기 있는’ 효과를 생성하는 경우, 관련 소스 이미지에 “wet, rain, pool” 태그를 누락했을 가능성이 있습니다.

3. 훈련:

일반적으로 사용하는 체크포인트를 확인하고, 기반 모델을 그에 맞게 선택하세요. 훈련에 행운을 빕니다.