사진 공모전에 너무 늦게 도착한 건 아닐지 모르겠네요...

새로운 EscapeXL 모델을 소개합니다! 이 체크포인트는 PonyXL을 미세 조정하여 놀라운 풍경과 세밀한 지형을 생성하는 능력을 복원하고, 캐릭터와도 잘 통합할 수 있도록 설계되었습니다. 원래 LoRA로 훈련되었지만, Lightning 가중치를 사용한 표준 미세 조정이 훨씬 더 나은 결과를 가져왔습니다. 약 200장의 이미지로 훈련되었습니다.

이 모델은 귀하가 선호하는 PonyXL LoRA와도 호환됩니다!

현재 이 모델은 베타 버전입니다. 완벽하지는 않지만, 풍경 생성에는 잘 작동하므로 풍경 공모전을 위해 조기 출시됩니다. 캐릭터와 NSFW에는 보통 수준입니다. 여러분이 이 모델을 좋아한다면, 1000장 이상의 이미지, 새로운 개념, 그리고 귀하의 최고의 풍경과 경관을 설명하기 위한 더 나은 자연어 지원을 추가한 v1.0을 훈련할 계획입니다.

v1.0을 위한 완료 목록:

더 많은 생태계: 우주, 수중, 실내, 도시 등...
인간을 포함하지 않는 더 많은 개념: 차량, 건축물, 물체 등...
풍경 설명을 위한 더 나은 자연어 지원 및 Booru 태그 지원 가능성
PonyXL의 해부학적 문제 및 “잊혀진 지식” 개선. 최종 목표는 캐릭터와 풍경을 모두 잘 구성할 수 있는 모델을 만드는 것입니다.
제안은 언제든지 환영합니다!

이 모델 사용 방법

체크포인트를 다운로드하여 체크포인트 폴더(Stable Diffusion)에 넣기만 하면 됩니다.

추천 추론(이미지 생성) 파라미터:

Clip Skip: 2

Sampler: DPM++ SDE

Steps: ~15

CFG Scale: ~2.0

양성 프롬프트:

score_9, score_8_up, score_7_up, score_6_up, <당신의 프롬프트>

부정 프롬프트:

score_6, score_5, score_4

풍경용 트리거 단어:

scenery
landscape
no humans

이 모델은一定程度 자연어 프롬프트를 이해할 수 있습니다.

인간 및 캐릭터 이미지 생성 시 CFG와 스텝을 낮추는 것이 좋습니다.

주의사항

이 체크포인트는 인간 및 캐릭터 이미지에 대해 충분히 훈련되지 않았으므로, 기본 Pony XL 모델과 마찬가지로 “자유로운 스타일” 문제를 겪을 수 있습니다! 안정성을 위해 LoRA와 함께 사용하는 것이 가장 좋습니다. 또한 이 모델은 다른 Pony 계열 모델처럼 NSFW 콘텐츠나 매우 복잡한 포즈 생성에 능하지 않으며, 이는 v1에서 개선될 예정입니다.

기술 사양

1xA40에서 훈련됨

프로젝트 및 동기 부여에 대한 더 많은 정보

PonyXL은 복잡한 캐릭터와 상황 표현에 탁월한 체크포인트입니다. 해부학적 이해 능력 덕분에 NSFW 장면 생성에 최고의 모델 중 하나로 평가받고 있습니다. 그러나 대부분의 데이터셋이 인체 캐릭터 표현에 초점을 맞추었고, 광범위한 미세 조정 과정에서 기본 모델이 처음 학습한 개념이 부분적으로 지워졌거나 대체되었을 가능성이 높습니다. 또한 초기 텍스트 인코더 훈련이 너무 많이 수정되어, Booru 태그(또는 적어도 50% 이상 이 유형의 서술 구문)만 이해할 수 있게 되었을 가능성이 있습니다.

이로 인해 LoRA나 기타 확장 도구 없이 Pony XL로 캐릭터 외의 것을 표현하기가 어렵습니다. 기본 모델만으로 일관적이고 미적 기준에 부합하는 풍경 장면을 생성하는 것은 더욱 어렵습니다.

따라서 이 프로젝트의 목적은 Pony XL이 이미 알고 있는 기능 외에 풍경, 생태계, 야경, 차량, 물체 등의 개념을 표현할 수 있도록 능력을 확장하고, 캐릭터보다 전체 장면에 더 큰 중요성을 두는 것입니다. 물론 이는 매우 큰 도전을 수반합니다:

- 현재 모델의 능력을 훼손하지 않으려면 어떻게 해야 할까?

- Pony용 LoRA가 여전히 작동하도록 기본 모델과 충분히 유사하게 유지하려면?

이 모델을 통해 이러한 질문에 답해보려 합니다. 현재로선 완벽하지는 않습니다: 환경 표현에는 더 나아졌지만, 과적합 문제를 겪고 있으며, 해부학 처리 능력은 Pony보다 떨어졌습니다. 다음 버전은 훨씬 더 나아질 예정입니다.

이 모델에는 보증이 제공되지 않습니다. 부적절한 목적에 이 모델을 사용하지 마십시오.

팁:

눈과 같은 작은 문제는 대부분 inpaint나 hires fix를 사용하여 쉽게 해결할 수 있습니다.

Escape XL (Pony)

세부 정보

파일 다운로드

모델 설명