DarkClip 2.5d

CLIP(ViT-L/14)는 이 모든 안정적 확산 모델이 학습된 텍스트 인코더입니다. SD 1.0부터 1.5까지는 고정된 CLIP으로 학습되었습니다. 반면 LoRA, 파인튜닝 및 병합은 새로운 개념을 추가하기 위해 CLIP을 수정합니다. 그 결과? 우리의 모델 유니버스에서 우리의 CLIP은 상당히 악용되었고 원래와 너무 멀어졌습니다. 초기에는 특정 용도에 잘 맞는 것으로 생각되는 많은 CLIP을 병합했지만, 이제는 앞으로 나아가기 위해 v1.5의 CLIP을 다시 통합해야 한다는 것을 깨달았습니다.

v1.7은 제 실험 모델 세 개에서 일부를 부분적으로 병합합니다:

heater: 47개의 애니메이션 모델에서 샘플링한 커스텀 모델; dare-ties 8%.

fullpoint: 제가 fp32 데이터를 보유한 다른 37개의 일반 모델에서 샘플링한 커스텀 모델; dare-ties 8%.

darkness: 57개의 예술 모델에서 샘플링한 커스텀 모델; 블록 병합 [%30, .20%, 10%].

이것들은 각각의 일부를 단순히 맛보는 수준입니다. 이 모든 모델들이 매우 강력하게 풀링되었기 때문에, 각각을 혼합하면 정말 강력한 핵심 구조가 추가됩니다. 이미지의 워크플로우를 보면 CFG가 상당히 높고, 단계 수도 많습니다(768x1152 해상도에 50단계가 적절했음). dpmpp 2/3m sde와 일부에서는 CFG 10 이상을 사용했습니다. 경우에 따라 지수 샘플링을 사용해도 양질의 결과를 얻었습니다. 얼굴의 아티팩트는 매우 드물고, 손은 일반적으로 잘 작동합니다.

또한 제 사이버네틱 드림 CLIP을 50/50로 병합하여 많은 이상한 문제를 정리했습니다.

이렇게 추가한 구조 덕분에, 이 버전은 LoRA 및 LCM을 동시에 사용할 때 훨씬 더 안정적으로 작동할 것입니다.

v1.6은 손과 기타 디테일을 개선하려고 시도했습니다. 이 버전은 DARE-TIES 병합을 사용하여 이러한 요소들을 선별하면서 일부 스타일적 특성을 유지하며, 피부-손 LoRA(https://huggingface.co/imagepipeline/Skin-and-Hands)를 창의적으로 활용했습니다(이 LoRA는 매우 훌륭함). 저는 나머지 결함을 정리하기 위해 /model/116230?modelVersionId=125849 'bad hands 5'를 사용해 왔습니다.

v1.5는 더 나은 구조를 제공하기 위해 https://huggingface.co/bdsqlsz/dpo-sd-text2image-v1-fp16 DPO 모델을 적용했습니다.

이 모델의 계보는 원래 DarkSun입니다. 저는 이 스타일을 좋아했지만, 이 모델은 확산 모델이 어떻게 작동하는지에 대한 제 이론(및 많은 병합)의 영향을 받아 매우 다른 성능을 보일 수도 있습니다. v1.4는 FreeU를 모델 전처리기로 사용한 실험 버전이었지만, 추가 테스트 결과 최종 결과에 영향을 주지 않는 것으로 나타났습니다. 왜일까요? FreeU는 아웃블록 전처리기입니다.

사용자 여러분은 최고의 이미지(프롬프트와 함께)를 게시해 주세요. 향후 DPO 학습에 사용하겠습니다.

이 모델을 계속 개선해 달라면 하트/5성 평가를 부탁드립니다.

다양한 CLIP 스킵을 시도해 보세요. 매우 높은 CFG(9+)와 공격적인 샘플링에도 잘 대응합니다.

면책 조항:
이 모델은 CSAM을 생성하도록 의도되지 않았습니다. 이 목적으로 사용하지 마십시오.