C++AravaggioV0.9 - an Answer to both Dall-E and Kandinsky 2.1

편집: 부정적인 피드백을 받고 나서 명확히 밝혀야 할 점은, 이 모델이 완전히 SD 1.5가 아니며, 따라서 이미지 생성에 다른 접근 방식이 필요하다는 것입니다. 여기에 링크한 부정적 임베딩은 이 모델에서 매우 어려운.negativ prompt 사용을 돕기 위한 것입니다.

이 모델은 Automatic1111에서 테스트되었습니다.

이미지 생성에 문제가 있다면(너무 나쁜 모습으로 나온다면) 그래픽 카드의 문제일 가능성이 있습니다(랜덤 넘버 제너레이터를 CPU로 전환하세요).

또 다른 팁은 ENSD 값을 31337이 아니라 99999로 설정하는 것이 더 잘 작동한다는 것입니다. 직접 확인해보세요.

임베딩을 사용해도 여전히 이미지를 재현할 수 없다면, 예시 이미지에서 정보를 복사해보세요. 도움이 될 것입니다.

/model/93766/embeddings-pack-for-caravaggio-reupload-with-images

이 모델은 완벽하지 않으며, 저는 이를 잘 알고 있습니다. 이는 제가 아직 공개하고 싶지 않은 현재 모델의 첫 번째 단계였습니다. 그래도 여전히 강력한 성능을 가지고 있습니다.

(VAE 내장, 일부 텍스트 역전 임베딩 포함, 해상도 768x768)

이 모델을 만든 절차는 우선 몇 가지 병합으로 시작되었습니다. 그 후, 제 흑백 드로잉/스케치 몇 가지를 사용해 1.5 기본 모델을 미세 조정했습니다(저는 그렇게 뛰어난 예술가는 아니지만, 스타일을 잘 받아들여 각 인간형 출력이 애니메이션과 반실사 모델 모두와 크게 다르게 나왔습니다).

그 후, 제 드로잉으로 미세 조정한 모델을 이 모델에 추가로 병합하고, 최종 모델을 kohya extract diffusers 도구로 분석했습니다. 왜냐하면 Stable Diffusion의 기본 텍스트 인코더보다 더 나은 텍스트 인코더가 있기 때문입니다. 실제로 Huggingface에서 여러 인코더를 찾아 테스트해 가장 잘 맞는 것을 선택했습니다. 이제 이 모델은 체계적인 영어를 잘 이해합니다. ChatGPT로 이야기를 생성해 이 모델에 적용해보거나, Midjourney 프롬프트를 그대로 복사해 넣어도 잘 작동합니다. 물론 Midjourney는 아닙니다.