Snakebite 2
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
완전히 새로운 접근 방식!
원래 Snakebite은 bigASP의 구성 블록이 주입된 Illustrious 모델이었습니다. 그러나 Snakebite 2.0은 주로 bigASP이며, 텍스처와 미적 능력을 극적으로 향상시키기 위한 여러 기술이 추가되었습니다.
❤️ Snakebite을 좋아하신다면, 학습 비용을 보전하는 데 도움이 될 수 있습니다:
⚠️ 중요 사항:
이 모델은 Flow Matching을 사용합니다. 따라서 ComfyUI에서 ModelSamplingSD3 노드에 연결해야 올바른 결과를 얻을 수 있습니다.
Flow Matching 목적을 지원하지 않는 다른 UI를 사용 중이라면, 대신 Snakebite v1.4를 사용해 보세요. 이 버전은 일반적인 Illustrious 모델처럼 동작합니다.
왜 공식을 변경했나요?
원래 Snakebite에 만족하지만, 두 아키텍처 사이의 몇 가지 “공백”을 병합으로 해소하지 못했습니다. 1.0에서 1.4까지, 이상한 배경 객체와 추가 팔을 최소화하기 위해 할 수 있는 모든 노력을 기울였지만, 완벽한 해결책은 이미 여기, 바로 베일라 bigASP 2.5 형태로 존재한다는 것을 깨달았습니다.
많은 사람들이 bigASP가 얼마나 뛰어난지 인지하지 못하는 것 같습니다... 프롬프트 준수성은 검열, 플라스틱 같은 피부, 높은 하드웨어 요구사항, 나쁜 라이선스 없이도 Flux 수준에 거의 도달합니다. 정말 놀랍습니다.
저는 이 모델의 두 가지 주요 문제를 해결하려 했습니다:
bigASP의 텍스처가 완전히 품질이 떨어집니다. 미적 캡션에 문제가 있었는지, 아니면 단순히 “너무 많이 봐서”(1300만 장의 이미지로 학습되었습니다!) 그런 것인지 모르겠지만,
(((high quality, masterpiece, so good)))를 아무리 많이 붙여도 SDXL 모델의 평균 품질에 절반도 미치지 못하는 이미지를 생성합니다.모든 것을 프롬프트로 명시해야 합니다. 이건 반드시 나쁜 점은 아닙니다. 문제는, 언급하지 않은 내용에 대해 bigASP가 매우 이상한 해석을 한다는 점입니다. 예를 들어,
1girl, standing이라고 요청하면1girl, standing, morbidly obese, upside down이라는 이미지를 생성할 수 있습니다.
이 두 가지 문제는 적어도 어느 정도 해결되었습니다. 쉽지 않았습니다! bigASP의 입력 블록은 _매우 민감_합니다. 미적 LoRA로 조정하려 하면 모델이 완전히 무너집니다. SDXL LoRA와의 호환성도 낮습니다. 왜냐하면 이들은 Flow Matching 기법으로 학습되지 않았기 때문입니다.
그럼에도 불구하고, 제 미적 개선에 잘 반응하는 몇 개의 블록을 찾았습니다. 그래서 저는 점차적으로 이러한 블록들을 Direct Preference Optimization 등에 도입해, 500단어 프롬프트를 제공하지 않아도 bigASP가 무엇을 해야 할지 알게 하려 했습니다(즉, 모든 이미지가 괜찮고 미친 듯하지 않도록 만드는 것).
v1 대비 장점
SDXL 모델로서 프롬프트 준수성이 굉장히 뛰어납니다 — 데모 갤러리 확인하세요
더 복잡한 개념과 상호작용을 이해합니다
Flow Matching 덕분에 뒤틀린 팔이 거의 없습니다
스타일에 매우 유연합니다. v1보다 더 사진처럼 보이면서도 일러스트 생성 능력도 향상되었습니다
몇 번 재생성하면 단어를 꽤 잘 쓸 수 있습니다
단점
미적으로 IL만큼 일관성은 없지만, 베일라 bigASP보다 훨씬 나은 편입니다
IL이 없기 때문에 booru 태그 지식은 떨어지지만, bigASP가 얼마나 많은 것을 알고 있는지 놀라실 수도 있습니다. 자체적으로 주류 캐릭터와 개념을 훌륭하게 생성할 수 있습니다
배경이 가끔 이상하게 나오는데, 이것이 bigASP의 문제인지 제가 병합한 부분의 문제인지 아직 확실하지 않습니다
권장 설정
Turbo:
8 또는 9단계
LCM 샘플러
Beta, normal 또는 simple 스케줄러
CFG 1
모델 시프트 3 (bigASP이 학습된 값입니다)
샘플 워크플로우: https://pastebin.com/Z35kNns6
Full:
25–40단계
속도: Euler ancestral 샘플러, 품질: dpmpp_2s_ancestral
Simple 스케줄러
CFG 4–6
모델 시프트 3
부정 프롬프트 강력히 권장 (예:
worst quality)샘플 워크플로우: https://pastebin.com/ynrJ1Nt2
참고: 모델 시프트를 증가시키면 품질을 희생하면서 프롬프트 준수성이 향상될 수 있습니다. 이는 캐릭터 LoRA 사용 시 특히 유용합니다. 6–8 사이의 값을 시도해 보세요.
프롬프트 가이드
가장 중요한 것은, 불필요한 표현을 조심하는 것입니다. warm lighting이라고 요청하면, 정말로 따뜻한 조명을 많이 얻게 됩니다. 심지어 단순히 high quality를 프롬프트에 추가해도 이미지가 완전히 달라질 수 있습니다. 그러므로 신중하게 구성하세요. 처음에는 불필요한 표현을 아예 제거하고 시작하세요.
이런 효과는 항상 직관적이지 않습니다. 예를 들어 — bigASP의 작성자가 지적했듯이 — masterpiece quality라는 표현은 “모델이 사진 대신 일러스트/그림을 생성하려는 경향을 강화합니다”.
사진을 원한다면, 지금까지 onlyfans, abbywinters photo보다 더 효과적인 표현을 찾지 못했습니다. 진심으로 말합니다! 이 표현들은 순수한 내용에도 훌륭하게 작동합니다. (편집: v2.2부터는 이 보조 표현이 선택 사항입니다. 최신 버전의 Snakebite에서는 photo of a...만 사용해도 충분합니다.)
또한 bigASP의 학습 데이터는 JoyCaption(온라인 데모, bigASP의 동일한 작성자가 제작)으로 캡션 처리되었습니다. 따라서 이 캡션과 유사한 어조와 리듬으로 모델과 대화해 보세요.
대부분의 경우, Snakebite이 원하는 이미지를 생성하지 못한다면, 단순히 다른 표현을 찾는 문제일 뿐입니다.
LoRA 학습
bigASP 2.5 공식 LoRA 학습 스크립트 사용:
설치가 간단합니다. 저는 kohya-ss venv에서 실행하고 있으며, 몇 가지 추가(충돌 없는) 의존성이 필요할 뿐입니다.
제가 알기로, kohya는 SDXL 학습에 Flow Matching을 지원하지 않기 때문에 이 스크립트가 필요합니다.
기본 설정이 좋습니다. lora_rank와 lora_alpha를 높일 수 있지만, 기본값 32도 보통 충분합니다. 이 스크립트는 이미지를 버킷화합니다. 학습 종료 시 하나의 체크포인트만 저장된다는 점에 유의하세요. 저는 스크립트를 save_every_n_steps로 수정했습니다. 원하시면 수정본을 드릴 수 있습니다.
Turbo 버전의 Snakebite으로 학습하지 마세요. 전체 버전(업로드 후)을 사용하거나, 베일라 bigASP 2.5로 학습하세요.
👉 중요: train-lora.py 스크립트는 kohya의 sd-scripts만큼 많은 모듈을 타겟으로 하지 않습니다. 이로 인해 LoRA 파일 크기가 훨씬 작아지지만, 높은 랭크와 알파를 사용해도 캐릭터의 외모를 정확히 포착하기에는 부족할 수 있습니다. 이를 해결하려면 스크립트에서 "target_modules"를 검색하고 아래와 같이 수정하세요:
target_modules=["to_k", "to_q", "to_v", "to_out.0", "k_proj", "v_proj", "q_proj", "out_proj", "proj_in", "proj_out", "conv_in", "conv_out", "ff.net.0.proj", "ff.net.2"]
이렇게 하면 fp16 정밀도에서 kohya와 동일한 크기의 파일을 생성할 수 있습니다.
또한 @deGENERATIVE_SQUAD가 만든 Flow Matching을 지원하는 비공식 sd-scripts 포크도 있습니다:
- https://github.com/rozmary1/sd-scripts
감사합니다. 항상 피드백을 기다리고 있습니다. 이 모델을 공유하고 이미지를 업로드해 주세요. Snakebite이 향후 Civitai의 내장 생성기로 선정될 수 있기를 기대합니다!