(HoJ) - High on Juice - Semi-realistic IllustriousXL
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
V4!
다른 체크포인트를 작업하면서 HoJ를 통합하려다, sd-mecha를 사용하기 시작했습니다. 이 도구는 일반적인 병합 도구가 아니라 매우 강력합니다. 하지만 가장 흥미로웠던 것은 받은 이상한 경고였습니다: CLIP-L의 한 레이어의 일부 키에 유한하지 않은 값(NaN, -Inf 또는 +Inf)이 포함되어 있었습니다. 오오, 이건 좋지 않네요. 이는 프롬프트가 파싱될 때 일부 조건이 손상되어 그림에 이상한 결과가 나타날 수 있다는 뜻입니다.
세심한 조사 끝에, 이 오류는 제 체크포인트 중 거의 모든 것에 존재한다는 사실을 알게 되었습니다 o_O
빠른 수정을 했습니다:
from safetensors.torch import load_file, save_file
h = load_file("mine\\Hoj\\HoJ_IXL-V1.1.fp16.safetensors")
to_fix = [ k for k in h.keys() if not h[k].isfinite().all() ]
print(to_fix)
['conditioner.embedders.0.transformer.text_model.encoder.layers.11.mlp.fc1.weight', 'conditioner.embedders.0.transformer.text_model.encoder.layers.11.mlp.fc2.weight', 'conditioner.embedders.0.transformer.text_model.encoder.layers.11.self_attn.k_proj.weight', 'conditioner.embedders.0.transformer.text_model.encoder.layers.11.self_attn.out_proj.weight', 'conditioner.embedders.0.transformer.text_model.encoder.layers.11.self_attn.q_proj.weight', 'conditioner.embedders.0.transformer.text_model.encoder.layers.11.self_attn.v_proj.weight']
b = load_file("base\\illustriousXL_v01.safetensors")
test_base = [ k for k in b.keys() if not b[k].isfinite().all() ]
print(test_base)
[]
for k in to_fix:
h[k] = b[k]
save_file(h, "hoj11.safetensors")
이 수정된 HoJ 1.1을 기반으로, 2.0, 3.0 및 AnBan ShinV2를 사용해 HoJ 4.0c(수정된 CLIP용)를 구축했습니다.
V3
V3.0이 출시되었습니다! 이 버전은 V2.0을 기반으로 하여 Niji의 원치 않는 영향을 제거하는 데 중점을 두었습니다. (아래에 더 자세한 설명이 있습니다.) @GZees에게 특별한 감사를 드립니다!
V3 + DMD2
DMD2 LoRA를 조금 실험해볼 계획이므로, 이를 HoJ V3에 통합했습니다. 이 버전은 매우 실험적이며, 일반적으로 네거티브 프롬프트를 사용하고 싶다면 V3.0을 권장합니다. 그렇지 않다면, 이 버전에서는 8스텝, Euler A, CFG 1을 사용하여 매우 빠른 생성이 가능합니다 😁
짧은 이야기
HoJ는 개인적인 취향에 초점을 맞춘 체크포인트입니다: 고대비, 생동감 있는 색상, 반실물적인 애니메이션 스타일의 이미지.
권장 사용법:
샘플/스케줄러:
DPM++ 2M SDE Heun & SGM Uniform (쇼케이스에서 사용한 것)
Euler A & "automatic", "SGM Uniform" 또는 "Beta" 중 하나 (재미로 사용)
DPM++ 2M & Karras도 작동하지만 최고는 아닙니다
스텝: 30에서 40 사이
CFG: 6 (저의 선호도이며, 자유롭게 실험해보세요)
VAE: 표준 SDXL VAE가 내장되어 있어 "추가 색상 VAE"가 필요 없습니다
업스케일러: 4xNMKDSuperscale, 20스텝, 노이즈 제거 최대 0.3
Adetailer: 노이즈 제거 최대 0.15, 동일한 스텝 수, 동일한 VAE (또는 None)
긍정적 프롬프트: 품질 태그(마스터피스 등)는 필요 없습니다
부정적 프롬프트: IllusN3g
아티스트 태그: 이러한 태그는 사용하지 않는 것을 권장합니다. 제대로 반응하지 않습니다
Clip Skip: 2 (하지만 1도 잘 작동합니다)
🚩 NSFW 경고_: 이 방향으로 모델 나이나 보안 조치를 반드시 포함해야 합니다. 그렇지 않으면 너무 어린 캐릭터가 생성될 수 있습니다. 이는 제가 발견한 문제이며, 향후 버전에서 수정해야 할 부분입니다.
권한: 이 모델을 병합할 때 자유롭게 사용할 수 있으나, 출처를 명시해주세요 😉
이 모델을 다른 웹사이트에 업로드하지 마세요,
저가 TA 및 SA에 직접 업로드하겠습니다.
@GZees가 친절하게 HoJ를 https://socialdiff.net에 추가해 주셨습니다. 시도해 보고 싶다면 참고하세요 🥰
원본 자원을 준수하기 위해, 생성된 이미지의 상업적 사용은 금지됩니다.
V3.0 업데이트 "긴" 이야기
이 기사에서 언급했듯이, 저의 작업에 Niji의 영향이 지나치게 많이 들어 있는 것에 점점 압도당하고 있습니다. 저는 이 스타일에 반대하는 것이 아니라, 기본적으로 그것이 포함되기를 원하지 않습니다. 그래서 이 LoRA를 만들었습니다.
이 업데이트로 HoJ V2.0에 마침내 "Niji 제거" 처리가 적용되었습니다.
@GZees의 허락을 받아 iLustMix의 훌륭한 개선점을 활용하여 HoJ의 일부 과도한 특징을 부드럽게 하면서도 고유한 스타일을 유지했습니다:
HoJ V2.0에서 iLustMix V2.0을 제외한 LoRA를 추출했습니다.
이를 iLustMix V7.0에 적용했습니다.
결과를 Cosine으로 HoJ V2.0과 병합했습니다(모두 위에 Un-Niji-fy를 적용).
그런 다음 원래 스타일을 되찾기 위해 HoJ V1.0을 소량 혼합했으며, 이는 BASE/CLIP 및 MID 블록에만 제한했습니다.
마지막으로, 약간의 풍미를 더하기 위해 결과에 Add Micro Details V4를 0.1의 강도로 병합했습니다(모델을 확인한 결과 병합이 허용됨).
이를 통해 수정된 체크포인트의 과도한 영향 없이 HoJ V3.0을 얻을 수 있었습니다.
유명한 긴 이야기 (V1.0)
HoJ는 제가 직접 만든 Illustrious 병합 체크포인트 /model/875403?modelVersionId=1308387 위에 구축되었으며, JunkJuice Psychonex(Pony 모델)을 세심하게 혼합하면서 Illustrious의 장점을 잃지 않았습니다.
개방성을 위해 사용한 자원은 다음과 같습니다:
그리고 이 기사에서 설명한 대로, 몇 에포크 동안 "최고의 이미지" 하위 집합을 수동으로 트레이닝했습니다.
생성된 트레이닝된 모델을 원본 체크포인트에 신중하게 병합하여 기본값을 수정했습니다. 이를 위해 병합 블록을 사용해 두 가지 버전을 만들었습니다(블록 유사성은 여기 참조):
원본 + 트레이닝: 유사한 블록만(IN/OUT 쌍 02,03,05,06 + MID, 강도 1.0)
원본 + 트레이닝: 다른 블록만(IN/OUT 쌍 00,01,04,07,08, 강도 1.0, 단 01 쌍은 과포화를 방지하기 위해 0.25)
그 후, Supermerger와 코사인 계산 모드를 사용해 두 버전을 혼합하여 최종 체크포인트를 완성했습니다(Similar + 0.25 Different, CosineA).
읽어주셔서 감사합니다! 💖
EDIT: HoJ를 미세조정하는 데 사용한 데이터셋은 여기에서 이용 가능합니다: https://huggingface.co/datasets/n-Arno/juicy