Seele-NoobAI-SDXL
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
Seele-NoobAI-SDXL 2.1 시작 가이드: 사용자 매뉴얼
1. 개요
"noobai의 NOOBAI XL-VPred 1.0 모델을 미세 조정한 Seele-NoobAI-SDXL 2.0은 중대한 진화를 의미합니다. v1.0 및 그 파생 버전과의 핵심 차이점은 2.0이 단순한 스타일화 모델을 넘어섰다는 점입니다.
이 새 버전은 2048x2048까지의 해상도를 네이티브로 지원합니다. 실제로 이 페이지의 모든 프리뷰 이미지는 이 고해상도에서 직접 생성되었으며, 인페인팅이나 업스케일링은 전혀 사용하지 않았습니다. 워크플로우를 확인하고 싶다면, 이미지를 다운로드하여 ComfyUI에 직접 로드해 메타데이터를 추출하면 됩니다.
v1.0이 단일 스타일에 집중한 것과 달리, 2.0 버전은 특정 미학에 얽매이지 않습니다. 원래 noobai와 마찬가지로 프롬프트, 특히 아티스트 태그에 매우 뛰어난 반응을 보입니다. 전문 데이터셋 선택을 통해, 이러한 태그에서 생성되는 스타일이 원래 noobai와 매우 일관되도록 보장했습니다. 즉, noobai에서 사용하던 아티스트 태그 문자열을 그대로 사용하면 거의 동일한 결과를 얻을 수 있습니다.
관심이 있다면, 이 게시물의 마지막에 제가 사용한 훈련 방법을 공유하겠습니다. 이제 공식적으로 Seele-NoobAI-SDXL 2.0을 소개합니다: 바로 아웃오브박스로 놀라운 고해상도 이미지를 생성하기 위해 설계된 모델입니다!"
2. 프롬프트
프롬프트 마지막에 다음 태그를 추가하세요:
masterpiece, best quality, newest, absurdres, highres, high resolution,
권장 네거티브 프롬프트:
worst quality, normal quality, old, early, low quality, lowres, text, word, text watermark, Color cast, Blurred background, Halo, Colorful spots,
1024x1024 해상도에 대한 문제 해결
1024x1024 해상도에서 생성할 때 시각적 아티팩트나 왜곡된 이미지가 발생하는 경우, 다음 프롬프트 조정을 적용하세요:
긍정적 프롬프트에서:
high resolution을normal resolution로 교체하세요.
부정적 프롬프트에서:
(high resolution:1.2), (medium resolution:1.2)를 추가하세요.
이와 같은 조정은 해당 문제를 효과적으로 해결합니다.
3. 파라미터 설정
cfg：4.5—5.5
noobai에 대한 이전 권장사항과 달리, v2.0의 기본 설정으로 Rescale CFG는 비활성화된 상태를 유지하는 것이 좋습니다. 그러나 생성 중 색상 아티팩트가 발생하면 0.5 값을 시도해 볼 수 있습니다. (중요: 이 값은 0.5 이상으로 올리지 말고, 0.5 이하로만 조정하세요.)
Sampler: euler/euler a
또한, euler_ancestral_cfg_pp 및 euler_cfg_pp 샘플러도 훌륭한 선택이며 강력히 권장합니다.
scheduler:sgm_uniform
스케줄러로는 sgm_uniform이 최우선 추천입니다. 좋은 대안으로는 simple과 normal이 있습니다. 일반적으로 karras 사용은 권장하지 않으나, 특정 요구사항에 맞는지 실험해 보시기 바랍니다.
step：28—40
해상도:
768x1344、832x1216、896x1152、1024x1024、1152x896、1216x832、1344x768、1024x1536、1536x1024、1536x1536、1536x2048、2048x1536、2048x2048、1920x1080、1080x1920
요약하면, 총 픽셀 면적이 1024x1024에서 2048x2048 사이인 모든 해상도에서 이미지를 안전하게 생성할 수 있습니다. 이론적으로 이 모델은 512x512까지의 해상도도 지원하지만, 저는 직접 테스트하지 않았습니다. 가능한 범위를 스스로 실험해 보시기 바랍니다.
마지막으로, 결과를 한층 더 끌어올리고자 하는 고급 사용자를 위해 euler_smea_dy 샘플러라는 고품질 옵션을 소개합니다.
이 샘플러는 네이티브 고해상도 생성에 최적화되어 선명하고 깨끗한 선을 구현합니다. 그러나 두 단계 워크플로우(예: 1024x1024와 같은 저해상도로 생성한 후 업스케일링)를 사용할 때는 주의가 필요합니다. 업스케일링 단계에서는 반드시 스케줄러를 exponential로 설정해야 합니다. 그렇지 않으면 이미지 배경이 지나치게 매끄럽게 처리되어 디테일이 손실됩니다.
반면, 2048x1536과 같은 고해상도에서 직접 생성하는 경우, 이 샘플러는 거의 완벽하다고 평가합니다. 관심 있는 분들을 위해 개발자의 GitHub 링크를 제공합니다:Koishi-Star/Euler-Smea-Dyn-Sampler: A sampler base on Euler, aim at generating better picture/一种基于Euler的采样方法，旨在生成更好的图片
4. 결론
Seele-NoobAI-SDXL 2.0으로 작업하는 즐거움을 기대합니다. 자신이 만든 이미지 중 자랑스러운 작품이 있다면, 갤러리에 업로드해 주시면 정말 기쁘겠습니다.
커뮤니티가 만들어낸 결과물을 보는 것이, 이 프로젝트를 지속적으로 개발하고 개선하는 데 가장 큰 동기부여가 됩니다. 여러분의 지원에 감사드립니다!
5. 훈련 방법
v2.0의 고해상도 생성 기능은 저에게 매우 실험적인 도전이었습니다. Illustrious XL 1.0 및 그 후속 모델들에서는 이러한 기능이 이미 구현되었지만, 제 훈련 과정에서는 완전히 새로운 영역이었습니다.
과정 중 다양한 문제에 직면했습니다. 저해상도에서의 출력 손상, 고해상도에서의 지속적인 아티팩트, 모델이 전혀 일관성 있는 이미지를 생성하지 못하는 치명적 실패, 그리고 1024x1024로 훈련된 커뮤니티 LoRA들과의 심각한 호환성 충돌 등이 그 예입니다.
우선, 재정적 장벽이 컸습니다. 어떤 모델 훈련자도 알듯이, 이상적인 접근은 가능한 한 많은 개념을 포함하는 것이며, 이는 방대한 양의 이미지로 훈련해야 함을 의미합니다. 커뮤니티에서 일반적으로 사용하는 자원은 Danbooru이지만, 2048 해상도로 전체 Danbooru 데이터셋을 훈련하는 것은 제 예산으로는 불가능했습니다. 제 예산은 2048px 훈련을 위해 수만 장의 선택된 이미지만을 포함할 수 있었습니다.
그러므로 핵심 질문은: 이렇게 제한된 데이터셋으로 모델의 효과를 극대화하려면 어떻게 해야 할까? 제 전략은 danbooru2024 데이터셋을 시간과 ID로 필터링하여 Danbooru 역사상의 모든 스타일을 균형 있게 포함하는 것이었습니다. 다행히 noobai는 매우 견고한 베이스 모델입니다. (1024px에서 수행한) 제 테스트는 이 필터링 방법이 noobai의 원래 일반화 능력에 거의 영향을 주지 않으며, 그 강력한 유연성과 프롬프트 반응성을 유지함을 확인했습니다!
다음으로, 고해상도 훈련의 ‘어떻게’ 문제를 해결했습니다. 초기에는 고해상도 이미지만 사용했지만, 이는 저해상도 생성에 치명적인 결과를 초래했습니다. 모델은 저해상도 처리 능력을 완전히 상실하고, 노이즈가 많고 해부학적으로 왜곡된 출력을 생성했습니다. 다음 실험에서는 저해상도 이미지도 혼합해 이 능력을 유지해 보았습니다. 이때 친구가 중요한 질문을 던졌습니다: 동일한 이미지 세트를 고해상도와 저해상도 모두에 사용하는 것이 낫냐, 아니면 서로 다른 해상도의 서로 다른 이미지를 혼합하는 것이 낫냐는 것이었습니다.
이번에는 행운이 따라왔습니다. 단일 실험으로 명확한 결론을 얻었습니다. 다양한 해상도의 서로 다른 이미지를 혼합한 데이터셋은 모델의 일반화 능력을 크게 향상시켰습니다. 제 가설은, 동일한 제한된 이미지 세트를 다양한 해상도로 훈련하는 것은 그 제한된 세트에 과적합하는 것과 같으며, 이는 자연스럽게 모델의 유연성을 저하시킨다는 것입니다. 마지막으로, Illustrious XL 논문에서 언급된 다단계 훈련 전략을 채택했습니다. 먼저 1536px 이미지를 포함한 데이터셋으로 모델을 훈련한 후, 2048px 이미지를 포함한 최종 단계 훈련을 수행했습니다.
6. 그 외
데이터셋: deepghs/danbooru2024 · Datasets at Hugging Face
자원: Illustrious: an Open Advanced Illustration Model
훈련 방법에 대한 귀중한 지도를 주신 @Anlia에게 진심으로 감사드립니다.
모델 테스트 단계에 도움을 주신 @Des_Moines_prpr에게도 진심으로 감사드립니다.
훈련 중 조언을 주신 @Vecthral에게도 감사드립니다.
1. 개요
noobai V 예측 훈련을 기반으로 합니다.
깨끗한 캐릭터 라인, 풍부한 배경 디테일, 뛰어난 조명과 음영—이것이 제 모델의 강점입니다!
물론, 저는 이 모델에 대규모 NSFW 훈련 세트로도 훈련했습니다. NSFW 콘텐츠를 생성하고 싶다면, Seele-NoobAI-SDXL이 여러분을 실망시키지 않을 것입니다.
2. 품질 향상 태그
프롬프트 마지막에 다음 태그를 추가하세요:
masterpiece,best quality,newest,absurdres,highres,
3. 권장 네거티브 프롬프트
worst quality,normal quality,old,early,low quality,lowres,signature,username,logo,bad hands,mutated hands,mammal,anthro,furry,ambiguous form,feral,semi-anthro,watermark,text,petals,light particle,
4. 사용 권장사항
Sampler:euler/euler a
cfg:4.5-5.5
scheduler:ddim_uniform/karras
steps:30-40
위는 모두 권장사항이며, 실제 사용 시 원하는 대로 다른 설정을 자유롭게 시도해 보세요! noobai와 마찬가지로, Rescale CFG를 사용하는 것을 강력히 권장합니다.
마지막으로, 배경을 훨씬 선명하게 보이기 위해 최소한 1.5배 이상 확대하는 것을 강력히 권장합니다!
5. 결론
저는 보다 우수한 캐릭터 라인과 풍부한 배경을 목표로 이 모델을 훈련했습니다. 모델 훈련이 끝난 후, 잠시 생각나는 대로 새로운 조명과 음영 훈련 세트를 추가했더니, 지금 보시는 Seele-NoobAI-SDXL은 우수한 조명과 음영 표현을 갖추게 되었습니다.
여러분이 이 모델을 좋아해 주셨으면 좋겠습니다. 갤러리에 더 많은 이미지를 올려 주신다면, 저는 더욱더 열정적으로 개선에 매진할 수 있을 것입니다!
변경 사항
V2.1
이 업데이트는 v2.0 대비 여러 핵심 개선 사항과 버그 수정을 포함합니다:
이전 버전에서 다중 해상도 노이즈 반복의 잘못된 구현으로 인해 제로 종단 신호 대 잡음비(SNR)가 손상된 중요한 문제를 해결했습니다.
훈련 데이터셋을 재조정하고 전체 규모를 크게 확장하여 향상시켰습니다.
1024px 해상도의 이미지 생성 품질이 향상되어 이전에 자주 발생하던 시각적 아티팩트를 효과적으로 제거했습니다.
v2.0
모델의 고해상도 생성 능력 강화.
v1.2
이전 v1.1 버전에서 과적합된 버전을 실수로 업로드해드렸습니다. v1.2에서는 이를 수정하고, 배경이 혼잡해지지 않도록 훈련 세트를 조정했습니다.
참고: 이 버전은 새로운 네거티브 프롬프트를 추가했습니다!
현재 저는 많은 이들을 놀라게 할 훈련 방법을 실험 중이며, 이 방법으로 훈련된 모델은 다음 업데이트에 바로 반영되지 않을 수도 있지만, 곧 출시될 예정입니다!
v1.1
1.0 훈련 세트를 기반으로 재훈련하면서 일부 동작에서 치명적 망각을 해결했습니다. v1.1 버전에 매우 만족하며, 향후 업데이트는 v1.1을 기준으로 조정될 예정입니다.