Typhoon SD1.5
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
🌪️ 태풍 (Stable Diffusion 1.5 Edition)
V1 및 V2 – 실험적 혼란에서 고해상도의 혼돈으로.
“태풍 V3로 시작된 것이 자체적으로 카테고리 5급 상황으로 확산되었다.”
“더 나은 판단과 점점 줄어드는 자금에도 불구하고, 태풍의 SD1.5 버전을 공개합니다.”
태풍(SD1.5)은 제 플래그십 SDXL 모델의 작은 동생으로, 호기심, 고집, 그리고 훨씬 적은 데이터셋 기반의 후회로 만들어졌습니다.
(Typhoon XL: /model/1610717/typhoon)
📌 TL;DR / 주의사항:
태풍은 스타일리시한 모델입니다. 의도적으로 리얼리즘 강화—영화 같은 조명, 깔끔한 디테일, 그리고 독특한 “렌더링된 진짜” 미학에 치우쳐 있습니다. 완전한 사진적 리얼리즘(스마트폰 수준의 초상화, 폴라로이드, 필름 그레인 등)도 구현 가능하지만, 원시적인 리얼리즘을 얻기 위해서는 더 많은 프롬프트 노력이 필요합니다. 기본적으로 생동감 있는 디테일과 약간 초현실적인 정제된 마무리가 나타납니다. 이것이 태풍만의 독특한 매력입니다.
이 샘플은 네이티브 출력 샘플을 사용합니다: 모든 샘플 이미지는 LoRA나 외부 수정 도구 없이 생성되었습니다. 보시는 내용이 모델의 핵심 능력입니다.
📦 이것은 무엇인가요?
이것은 단계적으로 학습된 맞춤형 SD1.5 모델입니다: 초기 체크포인트 미세 조정 이후, 전용 LoRA를 학습하고 수동으로 병합했습니다. 모두 수작업으로, 가장 어려운 방식으로 이루어졌습니다. LoRA 거즈와 학습률 테이프로 이어 붙인 프랑켄슈타인의 몬스터라 생각해주세요.
기저 모델은 ‘v1-5-pruned-emaonly’를 사용했습니다. 원래 runwayml/stable-diffusion-v1-5가 더 이상 이용 불가능했기 때문입니다. 기저 모델 선택은 악몽이었습니다. 대부분의 모델은 너무 많이 미세 조정되어 버렸거나 심각하게 손상되어 있었습니다. 이 모델은 겨우 생존했습니다.
🔧 모델 특성
초상화 수준의 디테일: 태풍은 깔끔하고 고해상도의 근접 렌더링에 뛰어납니다. ADetailer가 필요 없습니다—디테일 유지력이 원래부터 강력합니다.
역동적인 조명과 깊이: 재설계된 빛의 동작으로 태풍은 향상된 영화적 대비와 공간 구성 능력을 제공합니다.
프롬프트의 단순성: 트리거 단어가 필요 없습니다. 결과는 자연스럽고, 프롬프트 의도에 일관되게 반응합니다.
태풍은 본질적으로 스타일리시합니다. 기본 출력은 생동감 있고 디테일하며 약간 렌더링된 느낌을 띱니다. 순수하고 원시적인 리얼리즘보다는 “깔끔한 리얼리즘” 또는 “사진적 리얼리즘에 가까운” 외관을 선호합니다. 강렬한 조명, 선명한 피처, 그리고 내장된 특징적인 렌더링 마무리가 특징입니다. 초상화, 미적 촬영, 콘셉트 아트에 탁월하지만, 신중한 프롬프팅 없으면 거친 또는 다큐멘터리 스타일의 리얼리즘을 기본으로 출력하지 않습니다. 그래도, 원시적인 리얼리즘을 구현할 수는 있습니다. 단지 그런 결과를 얻기 위해 더 많은 프롬프트 노력을 기울이고, 고광택 트리거 문구를 피해야 합니다.
📚 학습 노트
데이터셋은 완전히 재구성되고 768px로 업스케일되었습니다. V1의 잘못을 수정했습니다. 구성을 다양화하고 일반적인 해부학적 정확도를 개선하기 위해 추가 자료도 통합되었습니다. 이제 전신 이미지를 생성할 때 의자 던지는 횟수가 줄어들 것입니다.
병합에 사용된 LoRA는 V1에서 512x512로 학습되었지만, 이제 개선된 데이터셋을 기반으로 합니다.
모든 샘플 이미지는 LoRA 없이 생성되었습니다.
해상도 팁: 512 x 512, 512x768 또는 576x768 해상도로 생성할 수 있지만, 때때로 해부학적 이상이 발생할 수 있습니다. Hires Fix를 사용하지 않는 경우, 512 x 768로 시작하는 것을 권장합니다. 그러나 실제로 큰 차이를 만듭니다.
🧠 내부 구조
태풍(SD1.5)은 하이브리드 방식으로 제작되었습니다:
초기 기저 체크포인트 미세 조정
프로젝트 전용 LoRA 일괄 학습 및 기저 모델에 수동 병합
주로 시도와 오류를 통해 병합 강도 및 가중치를 정밀하게 조정
이 과정을 돕기 위해 두 개의 오픈소스 도구를 개발했습니다:
📊 LoRA 강도 분석기
SSIM 및 BRISQUE와 같은 지각적 이미지 메트릭을 사용해 LoRA 병합을 평가합니다.
📈 LoRA 에포크 분석기
시각적 메트릭을 통해 다른 LoRA 학습 에포크를 비교해 최적의 체크포인트를 식별합니다.
⚠️ 제한 사항
NSFW: 기저 모델은 부분적으로 중성화되었습니다. 태풍은 최선을 다하지만 결과는 불규칙합니다. 잘 맞을 때는 정말 효과적이지만, 이 영역에서 일관성을 기대하지 마세요.
해부학 및 아티팩트: 데이터셋 수정 덕분에 V1에 비해 크게 개선되었습니다. 하지만 예외적인 이상은 여전히 발생할 수 있습니다. 가능한 한 Hires Fix를 사용하세요.
자연어 프롬프트: 자연어 프롬프트를 싫어합니다. 최적의 결과를 위해서는 짧고 구조화된 프롬프트를 사용하세요.
🧠 프롬프트 팁
이 모델은 길고 화려한 프롬프트를 싫어합니다. Flux가 아닙니다. 이 모델을 설득할 필요가 없습니다. 짧고 태그처럼 구성된 프롬프트를 선호합니다. 스토타토. 학습 데이터셋이 태그 중심이었기 때문일 가능성이 큽니다. 다시 말하지만, 제 잘못이죠, 또는 booru의 잘못입니다. 하지만 진심으로, 짧고 구체적으로 유지하면 가장 좋은 결과를 얻을 수 있습니다.
⚙️ 권장 설정
해상도: 기본 생성 시 512x640 또는 576x768
샘플러: DPM++ 2M Karras, Euler, Euler A — 일반적인 선택들
CFG: 대부분의 이미지에서 0.3 – 0.8
스탭: 20 - 40이 보통 좋습니다. 결과가 나쁠 경우 ±5 스텝 조정
Hires Fix: 매우 권장
노이즈 제거: 0.5 - 0.7 (0.5 = 더 부드러운 이미지)
확대: 1.5 - 1.8x (잠재) = 더 높을수록 더 많은 아티팩트
Hires CFG: 7 (기저 CFG와 동일하게 Hires Fix CFG를 설정했습니다. 네, 강박증입니다...)
⚠️ 근접 촬영 시 ADetailer나 얼굴 복원 도구를 사용하지 마세요. 이 모델은 눈과 얼굴을 이미 잘 렌더링합니다. 모델이 예외 상황에서 어려움을 겪을 때만 사용하세요.
💡 VAE 참고 사항
개발 중에 이전의 .bin VAE 파일을 하나 테스트했습니다. 색상이 흐릿해지고, 전반적으로 10월 베를린을 거친 듯한 느낌이 들었습니다. 어둡고 우울하고… 말할 필요도 없겠죠.
태풍은 다음과 같은 경우에 가장 잘 작동합니다:
• VAE를 전혀 로드하지 않는 경우, 또는
• 공식 stabilityai/sd-vae-ft-ema를 사용하는 경우
결과가 흐릿하거나 생명력 없어 보인다면, VAE가 원인일 가능성이 높습니다.
🔒 라이선스 및 사용
CreativeML OpenRAIL-M 라이선스 하에 배포됩니다.
이 모델을 다른 모델과 병합하지 마세요.
이 모델을 서드파티 생성 서비스에서 사용하지 마세요.
개인적, 비상업적 용도로 사용할 수 있습니다.
상업적 또는 호스팅 환경에서 사용하고 싶다면, 먼저 저에게 문의하세요.
병합 또는 재업로드는 미학을 파괴하고, 신중하게 조정된 LoRA 균형을 완전히 망가뜨립니다. 그러지 맙시다.
🚧 알려진 이슈
좁은 해상도에서는 일부 해부학적 오류가 여전히 발생할 수 있습니다.
자연어 프롬프트에 최적화되어 있지 않습니다.
V2의 향상된 데이터셋 해상도로 V1의 전신 왜곡 문제 대부분이 해결되었지만, 예외 상황은 여전히 존재합니다.
🌩️ ☕ 폭풍을 지원하세요
제가 만든 것—태풍, 토네이도, 도구, 혼란—을 좋아하시고, 이 모든 것을 계속 유지하는 데 도움을 주고 싶으시다면, Ko-fi에서 저를 지원해 주세요:
https://ko-fi.com/raxephion
모든 기부는 컴퓨팅 비용, 카페인, 그리고 “이거 왜 안 되지?”라는 좌절을 해결하는 데 도움이 됩니다. 폭풍을 계속 살아 있게 해주셔서 감사합니다.