Best of Both Worlds Mix (Illustrious)

소개:

저의 뛰어난 "Best of Both Worlds" 세미리얼/2.5D 모델

수많은 세미리얼 Illustrious 모델을 다운로드하고 테스트한 끝에, 세미리얼에 가까워질수록 많은 병합 모델이 색 채도, 미적 디테일, 구성, 조명을 잃어버리는 것을 발견했습니다. 일부 매우 훌륭한 세미리얼 모델들이 이를 어느 정도 구현하지만, 특정 주제와 개념에 강하게 치우쳐 있는 경향이 있습니다. 다양한 블록 비율과 텍스트 인코더 균형을 조정한 끝에, 이 모델들은 제가 실험한 결과물입니다—“양쪽의 장점”을 균형 있게 달성하기 위해.

전반적으로, 이 모델들은 다른 세미리얼 모델보다 사진처럼 사실적이진 않지만, 제가 이 모델들로 이룬 성과에 매우 만족합니다. 물론, Illustrious의 전반적인 단점에서 완전히 자유롭지는 않습니다—실제적인 페어리 생성은 어려울 수 있으며, 어두운/저조도 생성은 대부분의 사진적 사실성 체크포인트가 밝은 조명下的 훈련 데이터로 구성되어 있기 때문에 2.5D/스타일리시한 영향을 더 강하게 받습니다.

nerds와 창작자들은 아래에서 더 많은 병합 세부 정보를 확인할 수 있습니다.

병합:

간단히 말해, 다양한 비율로 여러 배치의 병합을 테스트한 끝에, 세 가지 모델이 각각 특정한 요구를 충족시키게 되었습니다.

Lyra

더 스타일리시하고, 덜 사진적 사실성. 회화적 특성을 지닌 예술적인 해석. 조명은 극적이고 스타일리시하며, 얼굴 특징은 단순화되었지만 표현력이 풍부합니다. 가장 직관적이고 창의적입니다. 클로즈업과 역동적인 앵글에서 아름다운 결과를 냅니다.

Echo

색상 팔레트와 조명 효과를 사진처럼 유지하면서도 사실성과 텍스처 디테일을 강화하고, 애니메이션의 미학을 유지합니다. 전형적인 사진적 사실성의 여성 신체 편향이 있지만, 여성적인 남성 캐릭터를 생성할 때 다른 대부분의 세미리얼보다 “우연한 퓨타” 현상이 훨씬 적습니다. 프롬프트의 복잡성과 피사체의 거리에 따라 IN 블록이 80% 이상 애니메이션 체크포인트 기반이라 adetailer가 도움이 됩니다.

Iris

Lyra와 Echo의 중간 지점입니다. Lyra보다 3D에 더 가깝지만, 전반적인 스타일은 애니메이션의 영향을 유지합니다. 흥미롭게도 이 모델은 환경 렌더링이 매우 우수하며, BL/야오이 콘텐츠에도 잘 작동합니다(그런 걸 좋아하신다면).

각 모델의 샘플 이미지에서는 99% 동일한 프롬프트와 시드를 사용했으므로, 여기서 비교해 보실 수 있습니다.

제가 보통 사용하는 태그:

긍정적

masterpiece, absurdres, best quality, newest, ambient lighting, very aesthetic, ultrahd, high contrast, realistic

부정적

worst quality, 2d, low quality, lowres, simple background, censored, mosaic censoring, censor, bad anatomy, bad hands, ugly, artist signature, watermark

생성 설정

CFG: 5-7

Steps: 36+ (복잡성/요소에 따라 달라짐)

권장 샘플러/스케줄러:

(가장 많이 테스트한 것부터)

Euler A - Automatic | SGM Uniform(문제 있는 LoRA의 블렌딩에 도움) | Align Your Steps GITS(2.5d/2d에 치우침)

DPM++ 2M - Karras | SGM Uniform | KL Optimal(사진적 사실성에 매우 치우침, 하지만 매우 미세하지 않음. 업스케일러나 후처리와 함께 사용 권장)

DPM++ SDE(가장 느림, 더 사실적) - Karras | Polyexponential

DPM++ 2M SDE(SDE보다 약간 빠르지만 디테일은 약간 손실) - Karras | Polyexponential

Euler - Beta (변동성 있음, 사실적 방향으로 치우침, 그러나 예측이 어려움)

이 모델들은 100% 완벽하지 않지만, Illustrious 체크포인트 병합 실험의 첫 출발점으로서 저를 만족시킵니다. 더 정교한 개선과 LoRA 병합으로 이 모델들을 개선할 수 있다면, 이를 계속 발전시킬 것이며, 그렇지 않다면 단독 모델로 분리할 계획입니다.

모델 제작자들을 위한 기술적 세부사항:

모델들 간의 유일한 차이점은 블록 분포와 몇 개의 LoRA뿐이므로, 이 세 가지 병합을 동일한 모델의 서로 다른 버전으로 간주합니다. 이 모델에 포함된 체크포인트는 다음과 같습니다: knkLuminai(v1.0), Better Days Illustrious(v0.1), BoleroMix(v2.0), PornmasterPro(v1.8), CyberIllustrious(v1.6), 그리고 CyberIllustrious(v3.0).

병합 가중치를 부여한 방식은 대략 다음과 같습니다:

IN 블록에서 매우 미세한 차이만 존재하며, 비사실적 모델들이 대부분의 가중치를 차지합니다(약 0.7–0.9). Lyra는 MID 블록에서 가중치를 뛰어넘은 후, OUT 블록에서 서서히 점진적으로 증가시켰습니다. Echo는 더 극적인 증가를 보입니다. Iris는 OUT 블록에 2.5D의 영향을 약간 유지해 어떤 결과가 나오는지 실험해보고자 했기 때문에 약간의 하락을 두었습니다. 세 모델 모두 CLIP은 2D/2.5D 모델에 가중치를 두었습니다.

이 모든 모델은 합산 병합(sum merge)이며, 단지 CyberIllustrious v3.0만은 v1.6과의 유사성 과잉을 피하기 위해 차분 병합(differential merge)을 사용했습니다. 혁명적이거나 획기적인 내용은 아니지만, 혹시 관심 있으신 분들께 공유하고자 합니다.