PonyXL 모델용 퓨루사잇 헤드 LoRA

PonyXL은 퓨루사잇의 개념을 이해하지만, 부분적인 퓨루사잇이나 퓨루사잇 헤드의 개념은 이해하지 못하며, 심지어 생성 품질도 최악이거나 불안정합니다.

이 LoRA는 OneTrainer에서 Prodigy 옵티마이저를 사용하여 10 에포크, 2회 반복으로, 다양한 자세의 다양한 종류의 퓨루사잇 헤드를 착용한 사람들의 76장의 고화질 이미지를 기반으로 학습되었습니다. 마스킹 학습과 강력한 이미지 프롬프트를 사용하여 퓨루사잇 헤드 자체의 개념에 집중했습니다.

학습은 Everclear과 Pony Realism의 사용자 정의 모델 병합을 통해 수행되었습니다.

데이터셋은 실사 사진과 일러스트를 50/50 비율로 구성했으며, 그 중 SFW와 NSFW는 25/75 비율로 분리했습니다. 남성과 여성의 비율을 50/50로 맞추려 했으나, 데이터셋은 주로 남성으로 구성되어 있습니다.

권장 설정:

키워드:

furryzsuithead mask

부정 프롬프트:

Complex Mask, Feral

상황별 부정 프롬프트:

Tail, Gloves, Shoes, Paws, Anthro

권장 최소-최대 가중치 범위:

0.4 - 0.8

권장 정밀 가중치 범위:

0.55 - 0.75 (프롬프트에 따라 다름)

참고사항 및 고려사항:

• XY 프롬프트는 권장된 부정 프롬프트를 사용하지 않고 생성되었으므로, 예시 이미지와 품질 차이가 있습니다.

• LoRA는 태그를 “[종] AND/OR [털/비늘 색] furryzsuithead mask”로 접두사로 붙일 때 매우 잘 작동합니다. 예시 이미지에서도 확인할 수 있으며, 종이 특이할수록, 얼굴 구조가 ‘표준’이 아닐수록 준수도 떨어집니다. (주목할 만한 코를 가진 종이 가장 잘 작동합니다)

• 학습 시 ‘Mask’가 분류기로 사용되었기 때문에, 기본 모델에서 ‘마스크’와 관련된 색상과 스타일(일반적인 멕시코 스타일 얼굴 마스크)이 프롬프트에 따라 침투할 수 있습니다. 이는 높은 가중치, 색상 프롬프트 및 부정 프롬프트에 “Complex Mask”를 사용함으로써 상당히 완화할 수 있습니다.

• NSFW 생성은 일반적으로 긍정 프롬프트에 “human”을 포함할 필요가 없지만, SFW 생성은 권장된 부정 프롬프트를 사용하더라도 인형 같은 동물이 생성되기 쉬우므로, 긍정 프롬프트에 “human”을 추가하는 것이 일반적으로 필요합니다.

• 저는 LoRA 학습에 특별히 능숙하지 않기 때문에, 이 LoRA는 이미지 구성에 영향을 주고 다른 이미지 요소로도 침투할 수 있으며, 때로는 바람직하지 않을 수 있습니다. 그러나 가중치가 낮을수록 이 효과는 덜 두드러집니다.

• 마스킹 학습은 도움이 되었지만, 학습 데이터가 강력한 프롬프트에 의존했기 때문에 다양한 다른 프롬프트 태그도 일정 부분 영향을 받을 수 있습니다.

• 이 LoRA는 사실적인 모델에서 학습되었고, 비사실적인 모델을 다운로드하지 않았기 때문에 비사실적인 모델에서 잘 작동하는지 확신할 수 없습니다. 하지만 결과를 공유해 주세요!

위 문제들을 해결하거나 향후 릴리스에서 개선하기 위한 제안이 있으시면 알려주세요!

OneTrainer 파라미터:

LoRA 랭크:

128

LoRA 알파:

2

드롭아웃 확률:

0.01

옵티마이저:

Prodigy

스케줄러:

Cosine

에포크:

10

에포크당 반복 횟수:

2

학습률(LR):

1

학습률 사이클:

1

배치 + 누적:

1

텍스트 인코더 학습 중단 시점:

8 에포크 후

UNet 학습 중단 시점:

절대 중단하지 않음

노이징 가중치:

-0.1

노이징 바이어스:

0.45

언마스킹 가중치 + 확률:

0.09

MSE 강도:

0.75

MAE 강도:

0.25

손실 가중치 함수:

Debiased Estimation

Prodigy 설정:

Beta 1:

0.9

Beta 2:

0.995

EPS:

1e-08

가중치 감소:

0.005

디커플:

True

안전 워밍업:

True

바이어스 보정:

False

초기 D:

1e-06

D 계수:

1

성장률:

inf