Store Bought Gyoza (餃子Mix)

공장에서 만든 만두피지만 품질은 아주 좋다고 약속해요. 손으로 만든 것보다 더 맛있어요!

설명:

스타일리시한 애니메이션 모델입니다. 이 모델은 제가 매우 애정하는 모델인 MouseyMix의 텍스처를 더 현실적인 신체 비율을 가진 캐릭터에 적용하려는 시도의 결과물입니다. '가게에서 구입한 만두(Gyoza)'라는 이름에서 'Gyokai' + 'Zankuro'라는 두 작가 이름의 약자인 'Gyoza'를 따왔습니다. '가게에서 구입한'이라는 표현은 이 모델의 '뼈체' 즉, 주요 구성 요소가 SD-Silicon 또는 더 구체적으로 Silicon-29라는 점에서 비롯됩니다. SD-Silicon은 autoMergeBlockWeight, 즉 자동 블록 통합 기술을 사용해 제작되었기 때문에 만두는 "기계가 만든 것"이라고 볼 수 있습니다. 다시 말해, 공장에서 만든, 가게에서 구입한 것입니다.

이 모델의 강점은 밝고 생생한 텍스처를 가진 매우 부드러운 일러스트 스타일 모델이지만, 동시에 매우 강력한 풍경과 경관 생성 능력을 갖추고 있다는 점입니다. V3와 V3.2는 애니메이션 속 여자 캐릭터 생성에 가장 적합합니다. VV(5)는 가장 강력하지만 가장 예측 불가능한 성능을 보입니다. 정말 독특하고 멋진 결과물을 원하신다면 이 모델을 사용해보세요.

방법론:

모든 내용과 레시피는 이 HuggingFace 저장소에 포함되어 있습니다. 각 단계를 상세히 설명하고, 공개된 자료의 경우 링크를 포함했습니다. 질문이 있다면 망설이지 말고 댓글을 남겨주세요. 저는 Stable Diffusion 모델 혼합에 대해 오픈소스 접근을 중요하게 여기므로, 과정에 대해 궁금한 점이라면 어떤 질문도 성실히 답변드리겠습니다. 이 모델은 블록 가중치 병합(Block Weight Merging)을 매우 광범위하게 활용하고 있으므로, 시작점으로 UNet 블록에 대해 공부해보는 것을 추천합니다.

그러나 일반적인 규칙을 원하신다면, 주로 모델 혼합 프로세스를 두 가지로 나눕니다: 이미지 구성/풍경 배치 요소와 텍스처 요소입니다. 앞서 언급한 구성 요소는 단순히 고해상도의 애니메이션 모델을 Silicon-29와 역코사인 블록 가중치 병합을 통해 만들 수 있습니다. 저는 DetailedProject 버전을 선호합니다. 그런 다음 원하는 텍스처를 얻을 수 있도록 텍스처 요소를 조정한 후, 이 텍스처 요소를 구성 요소와 코사인 블록 가중치 병합합니다. 그 후 미세 조정을 통해 기분을 완성하면 준비 완료입니다.

또한 3.5D 실험 단계를 거쳐 VV에 이르기까지, 미드믹 공식 중에 사용된 모델의 해부학 감각과 스타일/텍스처 감각을 전달하는 새로운 블록 가중치 공식이 도입되었습니다. 이를 통해 다양한 CSRB 기반 혼합의 텍스처 오일 페인팅 같은 느낌을 더 평범한 애니메이션 혼합의 바디 구성에 옮겨 적용할 수 있습니다. 자세한 설명과 인상적인 사례 혼합 예시는 이 HuggingFace 저장소에서 확인할 수 있습니다.

마지막으로 제가 제작한 이 좋은 체크포인트를 진지하게 관심 가져주시는 분들을 위해, 제가 작업 중이거나 실패한 버전을 모두 여기에 저장해두었습니다. 여기입니다. 이 저장소는 비공개이며, 접근하려면 LMFRS에 참여하셔야 합니다.

피는 사는 것인데 채움은 신선하단 말이야.

사용법:

기본적인 유니버설 SD1.5 규칙을 적용하세요. 그 외에 제 개인적인 추천 사항은 다음과 같습니다:

다양한 형태의 음성 프롬프트( Negative prompt )가 대체로 잘 작동합니다. 저는 AuroraNegative과 KHFB를 선호하는데, 이는 이미지를 크게 왜곡하지 않으면서도 강력한 음성 임베딩을 제공하는 가볍고 강력한 음성 임베딩입니다. 하지만 혼합 구성 요소와 자연스러운 음성 프롬프트에서 유래한 "나쁜 토큰"이 다수 존재하므로, 대부분의 경우 자연스러운 음성 프롬프트만으로도 원하는 결과를 얻을 수 있습니다.

Clip skip 값은 매우 중요합니다. Clip Skip 2는 일반적으로 '노벨라이' 스타일의 이미지를 얻을 수 있으며, 이는 가장 근접한 결과입니다. 하지만 나중에 등장하는 버전, 특히 VV의 경우 Clip Skip 1을 사용하면 매우 역동적이고 흥미로운 결과를 얻을 수 있습니다. 넓은 화면 비율에서 결과물을 만들고 싶으시다면 Clip Skip 1을 시도해보시는 것을 추천합니다. 의외의 결과가 나올지도 모릅니다.

버전 3.2, 3.5D, V(5)는 내장된 VAE를 포함하고 있습니다. 이전 버전은 사실 정확히 기억나지 않아요. 정확히 말하자면, 3.2와 이후 버전은 VAE를 사용하는 것이 좋습니다. 그렇지 않으면 조명 효과가 너무 강해져 출력이 너무 밝아질 수 있으므로 주의하세요.

마지막 메모:

이 모델로 생성물을 만들 때 메타데이터를 삭제하지 말아 주세요. 최소한 'GyozaMix를 사용 중이다'라고 적어주시면 좋습니다. 이 모델에 대해 어떤 방식으로 사용하든 상관없습니다. 사실, 제가 막을 수 있는 건 사실상 불가능하지만, 사람들의 사진이 너무 이쁘게 나와서 보기 좋습니다. 이제 이 모델을 세상에 내어놓았으니, 마음껏 사용해보세요.