Waifu Diffusion - 베타 03

행복을 위해 Huggingface에서 다시 업로드하여 CivitAI에 게재했습니다.

WD 1.5 베타 3은 stable-diffusion-2-1 (768)에서 직접 미세조정된 모델로, v-예측과 가변적인 비율 버킷(최대 픽셀 면적 896x896)을 사용하며, 실제 사진과 애니메이션 이미지를 포함합니다. WD 1.5가 포함하는 개념의 광범위함을 고려할 때, 이 모델은 이후의 미세조정, LoRA 및 기타 임베딩 응용에 이상적인 후보가 될 것으로 예상됩니다. - [Notion.site_]

작가의 메모

모델은 훌륭합니다. 처음 등장했을 때의 NAI처럼 생각해보세요. 많은 미세조정 작업을 시작하기에 좋은 방법이죠? 그저 WD 1.5 B3로 그럴 수 있습니다. - KaraKaraWitch

미적 모델?

upcoming (미래에 업로드 예정)

설치 방법

1. 3개의 파일을 다운로드합니다.

2. SD 2.1 설치하는 것과 동일한 방식으로 진행합니다.

3. 마법의 오븐 VAE를 사용하세요.

그걸 잘 못한다면... 음... 아마도 구글 검색해서 알아보는 방법을 찾아보세요? 이게 도움이 될 수 있을 것 같아요.

사용법

더 나은 결과를 위해 다음의 "마스터링" 프롬프트를 사용해보세요:

긍정적 프롬프트:

(exceptional, best aesthetic, new, newest, best quality, masterpiece, extremely detailed, anime, waifu:1.2)

부정적 프롬프트:

lowres, ((bad anatomy)), ((bad hands)), missing finger, extra digits, fewer digits, blurry, ((mutated hands and fingers)), (poorly drawn face), ((mutation)), ((deformed face)), (ugly), ((bad proportions)), ((extra limbs)), extra face, (double head), (extra head), ((extra feet)), monster, logo, cropped, worst quality, jpeg, humpbacked, long body, long neck, ((jpeg artifacts)), deleted, old, oldest, ((censored)), ((bad aesthetic)), (mosaic censoring, bar censor, blur censor)

어떤 작업을 할 수 있나요?

이 모델은 다음을 수행할 수 있습니다:

- 현실감 있는 (realistic, real life:1.2) 긍정적 프롬프트에 포함.

- 성적인 감성 (일반적인 콘텐츠이며, 미세조정 후 더 좋을 수 있음 → 웃음)

- 원하는 모든 것들을 조절 가능 (어떤 조정이라도 가능함)

- 조정 또한 비교적 쉬움. LoRA는 작동함 (Kohya 형식), LyCORS도 작동함 (LoCon 테스트 완료, 작동완료 → 확실함)

새로 추가된 점?

• 텍스트 인코더 훈련이 수정되어 이제 TE가 실제로 학습됩니다. 베타 2 사용자는 이제 시도해보세요.

라이선스

이건... 복잡합니다.

요약하면: 그냥 Fair AI Public License 1.0-SD (https://freedevproject.org/faipl-1.0-sd/)를 따르세요. 이 모델의 파생 제품이 만들어진 경우, 반드시 각각의 변경사항을 공유해주세요. 라이선스 관련 도움을 주신 ronsor/undeleted (https://undeleted.ronsor.com/)에게 특별한 감사의 말씀을 전합니다.

정말로 civitai 정신과는 좀 맞지 않지만... 어쩔 수 없죠. 웃기니까요.

드래그 - 웨이푸 디퓨전을 어떻게 훈련하나요?

1. BLIP/BLIP2 및 WD 테거를 사용해 모든 이미지에 보루 태그와 자연어 캡션을 제공합니다.

2. 날짜 그래디언트 적용

3. 𝒜𝑒𝓈𝓉𝒽𝑒𝓉𝒾𝒸 미적 감성 범주를 Exceptional, Best, Normal, Bad 로 나눕니다.

4. 보루 이미지에 별표를 추가하고 해당 범주에 분류하세요. (Masterpiece, Best, High, Medium, Normal, Low, Worst)

5. 훈련 시작

6. ???

7. 수익(이득) 창출

LyCORS/LoCon/LoRA 훈련 방법

KaraKaraWitch입니다. WD 1.5 B3에서 처음 시도한 훈련에 대한 제 의견과 일반적인 함정 몇 가지를 소개합니다.

1. 제공된 VAE를 사용하세요. 내장 모델 VAE를 사용하지 마세요.

2. --v2와 --v_parameterization을 활성화하세요.

3. 일반적인 방식으로 훈련을 진행하세요.

"Wait what that's it?!"

네. 그렇습니다. 하지만 주의할 점은 최종 손실이 약 0.3 주변에서 균형을 이루어야 한다는 것입니다. 0.29처럼 너무 낮은 값은 과적합 문제를 시사할 수 있습니다.

"Amongus sus"

음... 저는 여러 스타일 몇 가지만 테스트해봤을 뿐인데, 결과는 그런 식으로 잘 나왔어요...

fp32 버전은 어디에 있나요?!

개발자에 따르면, fp16과 fp32를 사용했을 때 품질 차이를 눈치챌 수 없다고 합니다. (xformers와 같은 메모리 최적화를 사용할 경우는 제외. fp32 저장보다 훨씬 큰 문제를 유발할 수 있음.)

Diffusers 형식으로 원해요! (Diffusers 포맷)

언제 salt가 그걸 HF에 업로드할지 봐요. 웃기네요.

그럼 어쨌든 이 모델의 핵심은 뭐죠?!

처음 말했듯이:

NAI가 처음 나왔을 때를 떠올려보세요. 미세조정을 시작하기에 좋은 방법이죠? 그렇다면 WD 1.5 B3로 그냥 그걸 할 수 있습니다.

이 모델은 피드백 및 훈련을 권장하고 장려합니다! LoCon/Lora 조정도 물론 가능합니다!