a.k.a. Türkiye 모델(SHIH)

설명

최근 다운로드한 두 모델 중 가장 마음에 들었던 Better Days과 ΣΙΗ를 무작위로 병합한 결과입니다. Noob vpred 모델로, 제 생각에는 두 모델의 장점 중 최고의 요소를 모두 유지하며, ΣΙΗ의 강력한 아티스트 태그와 구성 요소를 보존하면서 Better Days의 일부 조명 효과를 강화했습니다. 이 모델은 un-sepia-fying(링크)을 통해 Better Days를 mecha-merge 작업으로 변형한 후, ΣΙΗ의 구성, vpred, 아티스트 블록을 병합하고, 최종적으로 NVIDIA의 QLIP-L-14-392를 사용해 CLIP을 조작하여 완성되었습니다. 자세한 병합 과정은 "Merge Process" 섹션을 참조하세요.

사용법

표준 NoobAI 품질 태그가 적용됩니다. 자세한 내용은 NoobAI 문서를 확인하세요. 추가로, very aesthetic 긍정 태그와 displeasing 부정 태그는 일부 미세한 효과를 발휘합니다. LAXHAR Labs에서 추천하는 프롬프트 순서는 다음과 같습니다: 아티스트 태그, [여기에 프롬프트 입력], 품질 태그

이 모델은 V-pred ZSNR 모델이며 Automatic1111-webui와 호환되지 않습니다. vpred 모델에서 이미지를 생성하려면 Automatic1111 웹유저의 dev 브랜치, ComfyUI 또는 reForge 중 하나로 전환해야 합니다. 개인적으로는 reForge 전환을 강력히 추천합니다. 이 모델은 VAE가 포함되어 있습니다.

예시 이미지를 재현하려면 reForge/ComfyUI 확장 기능을 조정해야 할 수 있습니다. PAG 및 SEG 사용법을 설명하는 기사 링크는 곧 제공할 예정이며, 지금 당장 정확히 이미지를 재현하려면 이미지를 다운로드한 후 reForge의 PNG Info 탭에 드래그하여 "Override for Hires"를 비활성화하는 것이 최선의 방법입니다. 왜인지 확장 프로그램이 이를 자동으로 체크해제하기 때문입니다.

이 바보가 되지 마세요.

라이선스

NoobAI와 동일합니다.

병합 과정

투명성과 병합 기술의 확산을 위해 아래에 전체 단계를 기재합니다. 일부 단계는 약식으로 표기되었지만, 올바른 ComfyUI 노드를 다운로드하면 수행할 수 있습니다. 대부분의 작업은 sd-mecha를 통해 수행되었으며, Python을 이해한다면 Comfy-Mecha 확장 기능을 사용해 ComfyUI로 이식할 수도 있습니다.

0. betterDaysIllustriousXL_V01ItercompPerp.mecha
1. betterDaysIllustriousXL_V01Cyber4fixPerp.mecha
2. betterDaysIllustriousXL_V01CyberillustfixPerp.mecha
3. merge "weighted sum" &0 &1 alpha=0.5
4. merge "weighted sum" &0 &2 alpha=0.5
5. merge "weighted sum" &3 &4 alpha=0.5

결과 파일을 betterDaysIllustriousXL_V01ItercompCyberfixPerpWeightedSum05Squared로 이름을 바꾸세요. 원한다면 3단계를 betterDaysIllustriousXL_V01ItercompPerpCyber4fixPerpWeightedSum05, 4단계를 betterDaysIllustriousXL_V01ItercompPerpCyberillustfixPerpWeightedSum05로 이름을 지정할 수도 있습니다. 아니면 제가 체계적으로 저장한 모든 체크포인트를 아래 링크에서 다운로드하세요: 여기/여기.

(더 궁금하시면 이곳에서 원본 모델의 모습을 확인하세요.)

6. recipe_deserialize_mda_queue.py
7. vpredtimeout2emb.py
8. recipe_deserialize.py

마지막 단계는 QLIP 교체이며, sd-mecha보다 ComfyUI를 사용한 것이 더 간단했고, ComfyUI는 기본적으로 대부분의 노드를 포함하고 있기 때문입니다.

잠재적 개선점: 35단계는 단순 가중합보다 더 정교한 병합 방법으로 더 나은 결과를 얻을 수 있을 것입니다. SLERP는 쉽게 대체할 수 있고, 현재로선 비교적 풀리어(Fisher)가 가장 좋은 결과를 낼 가능성이 높지만, 어떻게 구현해야 할지 모르겠습니다. 다른 모델에서 텍스트 인코더 가중치를 가져올 수도 있습니다. Lobotomized는 CLIP이 거의 유사하기 때문에 쉬운 선택이지만, 품질 키워드를 위한 UNet 세그먼트가 약간 조정되어 있습니다. 또한 05단계를 건너뛰고 SHADOWMAXX만 사용할 수도 있지만, 이것이 좋은지 나쁜지 테스트해보지 않으면 알 수 없습니다. QLIP 교체는 논란의 여지가 있으며, 생략하거나 DARE 병합을 사용할 수도 있습니다. CLIP 병합 기술은 CLIP 내 가중치 블록을 식별하기 어려워 현재 상황에서 열악합니다.

이 기술을 원하신다면 마음껏 가져가서 개선해주세요. 실제로 개선할 수 있다면 꼭 해주세요. LobotomizedMix와 마찬가지로 코드는 여기에 있습니다.

질문과 답변

• Q: 이름이 멍청하게 생겼다.
  A: 감사합니다.

• Q: 표지 이미지의 폰트가 왜 그렇게 멍청해 보이나?
  A: 제 탓이 아닙니다. 터키어 글꼴은 총 8가지 밖에 없거든요. 제가 쓸 수 있는 선택지가 매우 제한적이었습니다. 좀 봐주세요.

• Q: 이 모델은 내재된 아티스트 태그가 있나?
  A: 네, 매우 강력합니다. 어떤 아티스트 조합이 마음에 들지 확인하기 위해 실험해보시기를 권장합니다.

• Q: 원본 모델들과 비교하면 어떻게 되는가?
  A: 제 주관적인 의견임을 전제로 말씀드리면, ΣΙΗ의 품질을 향상시키고 Better Days의 유연성과 힘을 개선했다고 생각합니다. Better Days의 주요 문제는 조명 스타일이 매우 고정되어 있다는 점입니다. 텍스처 품질이나 매끄러움은 변경 가능하지만 조명은 거의 영향을 줄 수 없으며, 구체적으로 말하면 비동기적 조명(비추진 조명)을 얻는 것이 불가능합니다. 그 결과 Better Days는 아티스트 키워드에 반응은 하지만(여기 참조), 결국 조명과 그림자가 항상 같은 방향에서 나와서 모든 이미지가 유사하게 보입니다.

• Q: "비동기적 조명"이란 무엇인가?
  A: 조명은 이미지뿐 아니라 영화 촬영에서도 방향성을 가집니다. 종종 주요 조명원은 이미지 내에서 직접 볼 수 있는 실용적인 조명입니다. 예를 들어 여기의 달은 실용적 조명입니다. 그 이상으로, 이론적으로 볼 수 있는 조명을 '동기화된 조명(motivated lighting)'이라고 합니다. 이 이미지에서는 조명원은 보이지 않지만, 일방향으로 특정 방향에서 나오고 이는 현실적으로 존재할 수 있습니다. 따라서, '비동기적 조명(unmotivated lighting)'이란 설명 없이 단지 장면을 조명하기 위해 존재하는 조명을 의미합니다. 그렇다면 왜 Better Days에서는 실루엣이 이렇게 많을까요? 그 이유는 Better Days가 비동기적 조명을 싫어하고, 현실적인(즉, 동기화된) 조명을 좋아하기 때문입니다. 사용자는 항상 스포트라이트를 들고 다니지 않죠. 그래서 이런 결과가 나옵니다:이것이 Better Days에서 실루엣이 두드러지는 주된 이유이며, 눈이 빛나는 이미지가 잘 어울리는 이유는, Better Days가 실용적/동기화된 조명에만 의존하고 거의 절대적으로 비동기적 조명을 사용하지 않기 때문입니다. 이는 강점이자 약점입니다. 왜냐하면 매우 분위기 있는 극적 장면을 만들 수 있지만, 결국 그 스타일에 고정되어 버리기 때문입니다. Better Days만 사용하면 눈치채지 못할 수 있지만, x/y 비교 테스트를 시작하면 점차 드러나게 됩니다.

• Q: 그런데 betterDaysIllustriousXL_V01ItercompCyberfixPerpWeightedSum05Squared는 Better Days보다 조명이 더 나쁘지 않은가?
  A: 맞습니다. 그 이유는 betterDaysIllustriousXL_V01ItercompCyberfixPerpWeightedSum05Squared가 과노출되기 때문입니다. Cyberrealistic과 Cyberillustrious는 현대 디지털 카메라로 촬영된 사진들로 학습된 실용적 모델들입니다. 이 모델들은 자동 보정을 통해 색감을 강화하며, 비동기적 조명과 조명 부족을 보완합니다. 반대로, 현대 영화 촬영이 왜 어두워 보이는가? 그 이유는 적절히 조명된 세트를 촬영하지만 어둠과 그림자를 표현하기 위해 블랙을 '눌러버리는' 작업을 하기 때문이며, 그 결과가 바로 '게임 오브 스론즈' S8E03입니다.

• Q: 왜 ΣΙΗ와 병합했나?
  A: ΣΙΗ는 내재된 아티스트 태그가 매우 우수하며, betterDaysIllustriousXL_V01ItercompCyberfixPerpWeightedSum05Squared에서 과노출을 일으키는 블록들을 대체해야 했습니다. 두 모델을 병합함으로써, ΣΙΗ의 뛰어난 아티스트 태그와 구성, 일부 조명 개선을 얻으면서도 비동기적 조명을 사용할 수 있게 되었습니다. 모델 병합은 주로 두 모델의 강점과 약점을 평균화하는 과정이며, 제 주관적인 판단으로 이 병합 결과는 두 모델이 잃은 것보다 더 많은 것을 얻었습니다.

• Q: QLIP이란 무엇인가?
  A: QLIP은 NVIDIA가 개발한 토크나이저/오토인코더로, 이미지를 이해(태그/자연어 등 시각 인식)하고 재구성하는 데 뛰어납니다. CLIP을 사용하는 특정 모델에 대체로 사용 가능하지만, Noob-AI의 CLIP은 매우 세밀하게 튜닝되어 있어, 여기서 사용하려면 CLIP-G와 QLIP 사이의 차이를 NoobAI CLIP에 적용해야 합니다.

• Q: QLIP의 효과는?
  A: 제 경험상, QLIP은 모델이 프롬프트를 더 정확히 따르게 만들며 CLIP-G보다 전반적으로 개선된 성능을 보입니다. 그러나 QLIP은 CLIP에 '병합'되어 적용되기 때문에 잠재 공간의 연관성이 일부 손상됩니다. 대부분의 이미지에서는 차이를 느끼지 못하지만, 3명 이상의 캐릭터를 프롬프트로 입력하면 QLIP 모델이 원래 CLIP을 사용한 모델보다 훨씬 더 큰 어려움을 겪습니다. 따라서 품질은 다소 떨어지지만 일부 사용자에게는 더 나은 워크플로우를 제공할 수 있는 QLIP 미포함 프로토타입도 함께 업로드했습니다.

• Q: 폰이야?
  A: 아니요.

• Q: 터키어 버전은?
  A: (실제로 터키어로 메시지를 보내지 마세요. 저는 터키어를 이해하지 못하며, 구글 번역으로 만든 어색한 피진으로 답할 수밖에 없습니다.)