FLUX.DEV DEDISTILLED

valentinkognito365valentinkognito365
288
6.3K
base model
SVDQ-INT4 NunchakuQ2_KQ3_K_SQ4_0Q4_1Q4_K_MQ4_K_SQ6_KQ8_0 GUGGFP8FP16

세부 정보

파일 다운로드

모델 설명

27/05: Flux용 SVD INT4 양자화 업데이트 https://github.com/mit-han-lab/ComfyUI-nunchaku

양자화 작업에 기여하신 @theunlikely에게 특별한 감사의 인사를 전합니다(H100 GPU에서 6시간 소요). 또한, 이 유형의 모델을 사용하는 방법에 대해 WF와 명확한 설명을 제공해 주신 JIB(J1B Creator Profile | Civitai)에게도 감사드립니다:

이 모델을 사용하려면, 해당 링크의 지침에 따라 nunchaku 프로젝트를 설치하고, nunchaku ComfyUI 커스텀 노드를 추가해야 작동합니다. Civitai에서 아카이브를 다운로드하여 다음 경로에 압축 해제하세요: \comfyui.git\app\models\diffusion_models\svdq-int4-flux-dev-de-distill. 사용 가능한 Nunchaku 워크플로우: /model/617562

이 내용은 Hugging Face에서 재게시한 것으로, nyanko7이 제작한 이 엄청나고 혁신적인 모델 생성에 저는 전혀 관여하지 않았습니다. 단지 이 모델이 너무 뛰어나서 즉시 게시해야 한다고 느꼈습니다.
지금까지 우리가 알고 있던 Flux.dev는 디스틸레이티드(distilled) 모델이었으며, flux.pro가 교사 모델로 훈련했습니다. 그러나 이 새로운 모델은 모든 것을 바꿔놓습니다! 이는 Flux.dev의 최초 실험적이고 실제로 디스틸레이션을 해제한 버전으로, flux.pro가 실제로 구현할 수 있는 수준에 훨씬 더 가까워졌습니다. 그리고 이건 시작에 불과합니다!
(참고: 이 모델이 flux.pro를 사용하여 훈련되었다는 의미는 아닙니다. 정확한 방법은 저도 모르겠습니다.)

/!\ 아래 예제 이후의 중요한 내용을 모두 읽지 않으면 사용에 실패할 수 있습니다. /!\

자체 제작 예제
디스틸레이티드 CFG 8 vs 실제 CFG 8 — 고정 시드, 텍스트 외에는 프롬프트 변경 없음
각 이미지는 각 모델에서 첫 번째 시도 결과이며, 선택적 편향 없음

Ear gauge LoRa: "귀여운 금발 래버 소녀가 웃고 있으며, 시선을 직시하고, 에모 메이크업과 부풀어 오른 에모 헤어스타일, 녹색 반짝이는 색상의 헤어스타일을 하고 있습니다. 3argauge, 양쪽 귀에 큰 원형 구멍이 있는 귀고리 플러그가 있습니다. 검은 후디에 금색 글자로 'DEDISTILLED MAKES MY LORAS WORK'라고 쓰여 있습니다."

Cum on face LoRa (디스틸레이션 해제로 어디서든 작동합니다): "COF, 얼굴에 흰색 끈적끈적한 정액이 묻은 젊은 여자. 얼굴에 흰색 끈적끈적한 정액, 흰색 끈적끈적한 정자로 덮여 있습니다. 얼굴 전체가 흰색 끈적끈적한 정액, 정자로 덮여 있습니다. 검은 후디에 은색 폰트로 'DISTILLED'라고 쓰여 있습니다." LoRa 없음: "거대한 폭발이 일어난 미래 도시의 거리에서, 큰 건물들이 있는 곳으로부터 검은 자동차가 시청자 쪽으로 빠르게 달아나고 있습니다. 자동차 주변의 움직임 선은 속도감을 전달합니다. 자동차 앞판에는 'DISTILLED'라는 글자가 적혀 있습니다." LoRa 없음: "오래된 목재 창문을 통해 러스틱한 집 안에서 작은 고양이가 실크 공을 놀리고 있습니다. 집 안은 낡은 목재 가구로 꾸며져 있고, 낮의 부드러운 햇빛이 창문을 통해 들어와 따뜻한 그림자를 만듭니다. 멀리서 사진작가가 카메라를 들고 다가오며 고양이의 장난스러운 순간을 포착하려 합니다. 사진작가는 갈색 재킷을 입고 있으며, 황금빛 노을빛에 감싸여 있어 따뜻하고 평화로운 분위기를 더합니다. 전체적인 분위기는 평온하며, 향수를 자극하는 고전적인 설정이 더해져 있습니다."

중요 사항 요약 (현재 알려진 정보)

연설: 이 모델들은 매우 새로운 것입니다. 지금까지 알려진 정보를 여기에 모아놓았습니다. 여러분의 경험을 댓글에 공유해 주시면 함께 업데이트하겠습니다.

매개변수

  • 이제 디스틸레이티드 CFG를 잊고 실제 CFG를 사용하십시오 (저는 14까지 시도해 보았습니다).

  • 절대로 CFG = 1과 함께 사용하지 마세요 — 완전한 실패가 되며, 대부분 결과가 나오지 않는 이유입니다.

  • 최소한 40–60 스텝을 사용해야 합니다. 사용하는 CFG에 따라 조정하세요.
    시간은 더 오래 걸리지만, 그만한 가치가 있습니다.

  • 현재 hyperdev 8스텝 LoRa는 스텝을 줄이기 위해 이 모델과 함께 사용되지 않는 것 같습니다.

  • 디스틸레이션 해제 버전은 네거티브 프롬프트를 지원합니다.

장점

  • 프롬프트 준수도가 无比 우수하며, LoRa를 사용해도 마찬가지입니다.

  • 얼굴 LoRa의 성능이 향상되고, 디테일이 더 나아지며, 텍스트 표현이 훨씬 향상됩니다.

  • 프롬프트의 모든 요소가 기본적으로 더 나아집니다.

/!\ 디스틸레이티드 모델에서 개선점이 보이지 않는다면, 실수로 실 CFG = 1을 사용하고 있는지 반드시 확인하세요. 플럭스 가이던스가 아닙니다. 이 점이 매우 혼동되기 쉽습니다. /!\

모든 워크플로우가 디스틸레이티드를 위해 설계되었으므로, ComfyUI에서 제대로 작동하지 않는다면 Forge를 시도해 보세요.

Forge UI에서 사용하는 가이드라인

  • Forge에서는 변경 없이 작동합니다. Schnell 모델처럼 로딩되며, 디스틸레이티드 CFG가 비활성화됩니다(매우 좋음).

편집: 모든 새로운 양자화 버전을 업로드했습니다. 적어도 하나는 당신에게 작동할 것입니다.

Forge에 처음 접하는 경우, 다음 설정을 유사하게 사용하세요:

  • Flux 워크플로우

  • 체크포인트: DeDistilled

  • VAE / 텍스트 인코더 파일에 다음을 제공해야 합니다: vae(ae.sft / ae.safetensors) + clip_l(또는 수정된 clip) + t5xxl(사용하는 양자화 버전에 따라 fp16, fp8 등).
    이 파일들은 모델 파일에 포함되어 있지 않으므로, 반드시 추가해야 합니다.

  • 또한, Diffusion을 Low Bits = Automatic (FP16 LoRA)로 설정하세요. 그렇지 않으면 LoRA 사용 시 문제가 발생할 수 있습니다. 이것은 Forge의 모든 체크포인트에 적용됩니다.

다음 설정을 DeDistilled에 권장합니다:

Comfy UI에서 사용하는 가이드라인

  • 아래에 언급된 워크플로우와 같이 표준적인 방식으로 ComfyUI에서 작동합니다. GGUF 로더, t5xxl 및 clip_l 프롬프트용 Dual CLIP 로더, KSampler Efficient를 사용합니다.

Comfy용 권장 설정:
Dual CLIP Loader 가이던스: 3.5
KSampler CFG: 210
스텝: 5060
네거티브 프롬프트: 비워두거나 필요시 입력 가능 (입력 시 이미지에 영향을 줍니다)
샘플러: DDIM 또는 euler
스케줄러: beta 또는 exponential

워크플로우 링크: https://gist.github.com/dasilva333/87bdd5b5b8ebba5515a9919ede0e3c05

Reddit에서 발견한 이 워크플로우도 사용 가능합니다(Comfy에 드래그 앤 드롭): https://files.catbox.moe/y99yl7.png

훈련 및 LoRA

  • 저는 디스틸레이티드 + CFG = 1로 실패한 후, De-distilled + 가이던스 = 6로 처음 LoRA를 훈련했습니다. 결과는 훌륭하며, 사실 LoRA를 구할 수 있었습니다. De-distilled와 Distilled 모두에서 잘 작동하지만, De-distilled에서 더 나은 성능을 보입니다.
    앞으로는 이 방식으로만 훈련할 것입니다.

  • De-distilled로 초기 체크포인트 패인튜닝한 결과가 Civitai에 업로드되었습니다: /model/690991/sapianf-nude-men-and-women-for-flux-now-de-distilled
    저자에게 답변을 기다리며 업데이트할 예정입니다.

출처

이 모델로 만든 이미지

이미지를 찾을 수 없습니다.