랜서벨 블루마 전용 LoRA /model/76191

랜서벨과 블루마를 함께 사용할 수 있습니다.

블루마 없이 랜서벨만 사용해도 됩니다.

랜서벨 없이 블루마만 사용하면 체육복에 어깨 끈이 붙습니다.

랜서벨 색상은 보통 분홍색입니다. 블루마 색상은 보통 진한 파랑 또는 빨강입니다.

예시

lora:randoseruburuma_v1.3:1 랜서벨 배낭을 메고 진한 파랑 블루마와 색상이 있는 헴이 있는 흰색 체육복을 착용

상업적 사용은 내 프로필을 참고하세요.

기부는 여기서 가능: https://ko-fi.com/eeb_p

ランドセルブルマ입니다.

블루마 없이 랜서벨로도 사용할 수 있습니다.

랜서벨 없이 블루마만 사용하면 체육복에 어깨 끈이 붙습니다.

랜서벨은 분홍색, 블루마는 진한 파랑 또는 빨강이 잘 나옵니다.

예시

lora:randoseruburuma_v1.3:1 랜서벨 배낭을 메고 진한 파랑 블루마와 색상이 있는 헴이 있는 흰색 체육복을 착용

버전 1.3

손이 개선되고, 블루마 색상을 선택 가능

랜서벨 배낭을 메고 진한 파랑 블루마와 색상이 있는 헴이 있는 체육복 착용

lora:randoseruburuma_v1.3:1 랜서벨 배낭을 메고 진한 파랑 블루마와 흰색 체육복을 착용

lora:randoseruburuma_v1.3:1 랜서벨 배낭을 메고 빨간 블루마와 흰색 체육복을 착용

lora:randoseruburuma_v1.3:1 랜서벨 배낭을 메고 녹색 블루마와 흰색 체육복을 착용

버전 1.2

LoRA 블록 가중치 0,0,0,0,0,0,0,1,1,1,1,0,0,0,0,0,0 적용

lora:randoseruburuma_v1.2:1 랜서벨 배낭과 블루마, 색상이 있는 헴이 있는 체육복 착용

버전 1.0

LoRA 블록 가중치가 있다면 아래와 같은 가중치가 좋습니다.

lora:randoseruburuma_v1.0:1:0,0,1,1,1,1,0,1,1,1,0,0,0,1,1,1,0,1,1,1,1,0,0,0,0,0 랜서벨 배낭과 블루마, 색상이 있는 헴이 있는 체육복 착용

설명

옷 LoRA를 만드는 사람에게 도움이 될지 모르겠지만, 이 LoRA의 학습 방법을 기록합니다.

랜서벨 블루마 LoRA는 큰 액세서리인 랜서벨과 일반적인 옷인 블루마 체육복을 동시에 학습하므로 다소 특별할 수 있습니다.

모든 데이터가 남아 있지 않아 남아 있는 로그만 확인했고, 일부 오류가 있을 수 있습니다.

저의 방법을 반드시 따라야 하는 것이 아니라, 처음 옷 LoRA를 만들어보는 사람에게 시작점이 되기를 바라며 작성했습니다.

대략적인 분위기로 학습해도 그럭저럭 결과가 나온다는 예시가 되었으면 합니다.

학습 이미지 준비

학습 이미지 총 244장

얼굴은 크롭하여 잘라냈습니다.

LamaCleaner로 옷에 묻은 머리카락, 옷의 태그나 로고, 랜서벨 및 의상 액세서리를 제거했습니다.

Rembg(1111 webui 확장 프로그램)로 일부 이미지의 배경을 제거했습니다. (쉽게 제거되지 않는 것은 포기하고 그대로 둠)

포즈가 손을 가리는 이미지는 생성 시 손이 사라지기 쉬우므로 제외했습니다.

83장의 랜서벨 블루마 이미지

WD14 captioning으로 데이터를 부여하고 1girl, solo는 제거했습니다.

26장의 랜서벨 이미지

처음에는 BLIP로 caption을 부여한 후, 각 이미지마다 수동으로 수정하여 "upper body wearing pink randoseru backpack" 및 "view from ****"를 추가했습니다.

이렇게 하여 backpack 개념을 랜서벨로 대체하고, 사람의 신체 어느 부분에 어떤 각도로 랜서벨이 붙어 있는지 학습시킵니다.

모든 각도의 학습 이미지 수가 동일하면 랜서벨 LoRA에서 behind나 side가 잘 나오지 않아, 이미지 수를 늘려 학습 정확도를 높였습니다.

9장의 view from behind 이미지

5장의 view from above 이미지

5장의 view from front 이미지

7장의 view from side 이미지

11장의 블루마 이미지

WD14 captioning으로 데이터를 부여하고 1girl, solo는 제거했습니다.

학습

https://github.com/bmaltais/kohya_ss.git를 사용하여 학습했습니다.

위의 세 가지 이미지를 각각 다른 폴더에 넣고 Step 수를 조정했습니다.

이미지 수가 적은 요소는 폴더의 Step 수를 늘려 균형을 맞춥니다.

1_randoseruburuma

3_randoseruview

7_buruma

LoRA 유형: Standard(일반 LoRA)

Train batch size: 4 (GPU 메모리 크기에 따라 결정. Out of memory가 발생하면 줄이고, 여유가 있으면 늘립니다.)

epoch: 50 입력. 생성 시 41로 조정되며, 성능이 좋았던 epoch 12를 선택했습니다.

Precision: bf16. fp16도 괜찮을 수 있습니다.

CPU 코어당 스레드 수: 자신의 CPU에 맞춰 설정하세요.

Learning rate: 1

LR Scheduler: cosine

LR warmup: 0

Optimizer: DAdaptLion

Optimizer extra arguments: "betas=(0.9, 0.99)" "weight_decay=0.4" "d0=1e-06"

Text Encoder learning rate: 1

Unet learning rate: 1

Network Rank (Dimension): 128

Network Alpha: 128

Scale weight norms, Network dropout, Rank dropout, Module dropout: 모두 0 (잘 모르겠습니다.)

Max resolution: 512, 512

Stop text encoder training: 0

Stop text encoder training: ON

추가: 고급 설정

의상과 관련 없는 블록을 제거했습니다.

이는 우선 모든 블록 가중치를 기본값(전부 1)으로 LoRA를 생성한 후, 어떤 계층의 Block Weight를 제거해도 랜서벨 블루마 이미지가 생성되는지 확인한 후 설정했습니다.

"down_lr_weight": "0,1,1,1,1,0,1,1,1,0,0,0",

"mid_lr_weight": "1",

"up_lr_weight": "1,1,0,1,1,1,1,0,0,0,0,0",