Z-Image Turbo Distill Patch for ComfyUI

Z-Image Turbo용 LoRA를 만들기를 거의 포기했지만, 이 보석을 발견하면서 다시 시도하게 되었습니다.

이 LoRA를 제공하는 다른 사람을 찾지 못했고, 만약 있었다면 그들을 언급했을 것입니다.

여기서 게시한 모델은 ComfyUI와 호환되도록 재조정되었습니다.

예시 이미지에서 전후 비교를 보여주고 있지만, 단순히 내용을 채우기 위한 것이며, 실제로 일부 사용자에게는 명확하지 않은 교차 경로(cross walk) 문제를 보여줍니다. 이 문제는 'After' 이미지에서 해결되었습니다. 이 현상은 생성 과정 전체에서 일관되게 나타났습니다. 사용된 LoRA는 중요하지 않으므로 여기서 언급하지 않지만, 패치 LoRA는 의도한 대로 작동하고 있는 것으로 보입니다.

이 모델은 제가 만든 것이 아닙니다. 왜 필요하게 되었는지도 이해하지 못합니다. 그러나 이 모델 없이 제 LoRA 중 상당수는 거의 쓸모없게 됩니다. 이미 문제를 겪었다면, 혹은 곧 겪게 될 것인데, 이 모델은 다른 LoRA에도 동일한 문제를 해결해 줄 수 있습니다. 저는 가중치 1.0을 사용하고 있습니다. 자세한 정보는 모델 페이지를 참조하세요.

이 "패치" 없이, 제 LoRA는 어떤 방식으로 훈련했든, 얼마나 오래 훈련했든, 어떤 기이한 시도를 하든, 몇 스텝을 사용했든, Z-Image 모델에서 사라진 것으로 보이는 영역을 타겟으로 할 때마다 신체적 공포(body horror) 현상이 발생했습니다.

Apache 2.0 라이선스:

https://modelscope.cn/models/DiffSynth-Studio/Z-Image-Turbo-DistillPatch

업데이트:

다른 사용자들의 댓글에서 유의미한 정보를 얻은 후, 이 모델을 제공된 "de-distilled" 모델과 비교해 테스트해 보았습니다. 설명된 대로 작동했지만, 이전 작업 방식과 충분히 유사한 결과를 얻지 못해 방식을 바꿀 동기가 생기지 않았습니다. 또한 이 모델을 훈련 중에 사용할 수 있으며, 기존 모델보다 일부 장점이 있을 수 있다는 점도 이해했습니다. 그러나 훈련 중에 이 모델을 적용하는 데 성공하지 못했고, 이를 해결하기 위한 동기 부여도 크지 않았습니다.

결국, 이 모델은 이미 존재하는 "터보" 효과를 중복으로 적용하는 것으로 보이며, 이는 실수일 수 있습니다. 제가 더 많은 테스트를 거친 후, 이것이 실제로 실수일 수 있고, 실제로도 실수였다는 점을 알게 되었지만, 다시 말하지만, 이 방법을 완전히 버릴 정도로 아티팩트가 자주 발생하지는 않습니다. 앞서 언급했듯이, 적응된 모델에서 발생하는 신체적 공포 현상은 이 패치 없이는 완전히 사라지지 않습니다.