NF4+LoRA, FP8 to NF4 + LoRA For ComfyUI (Workflow) - For 8GB VRAM and less

사용자 정의 노드용 - https://github.com/bananasss00/ComfyUI_bitsandbytes_NF4-Lora

직접 다운로드 링크: https://github.com/bananasss00/ComfyUI_bitsandbytes_NF4-Lora/archive/refs/heads/master.zip

노드의 주요 기능

1. 실시간 변환: 노드는 FP8 모델을 NF4 형식으로 실시간으로 변환할 수 있습니다. LoRA 사용 시 생성 속도가 저하되지 않습니다.

2. 모델 로딩 최적화: 사용자가 모델의 데이터 유형(load_dtype)을 지정함으로써 불필요한 재변환을 방지하고, 모델 로딩 시간을 개선했습니다.

3. 생성 후 모델 언로딩 수정: 생성 후 모델을 적절히 부분적으로 언로딩하도록 수정하여 이전에 메모리 관리에 영향을 미쳤던 문제를 해결했습니다.

이 워크플로우가 마음에 드신다면 지원해 주세요: 버즈 / 좋아요 / 게시물 추가 또는 리뷰 / 팔로우 - 감사합니다!

두 개의 LoRA: HyperFlux+realism_lora를 사용한 NF4-FP8-GGUF_Q4_0 생성 비교 (8단계):

https://imgsli.com/MzA0Nzgz https://imgsli.com/MzA0Nzg0 https://imgsli.com/MzA0Nzg2 https://imgsli.com/MzA0Nzg3

최상의 품질을 위한 팁

1. FP8 모델 사용: NF4 모델도 지원되지만, LoRA 적용 시 품질이 훨씬 높아지려면 FP8 모델을 사용하는 것이 좋습니다.

2. NF4 모델용 LoRA 가중치 조정: NF4 모델을 입력으로 사용할 경우 LoRA 가중치를 증가시켜야 LoRA 효과가 명확하게 나타납니다. 또한 고급 노드 섹션에서 rounding_format 매개변수를 2,1,7 사전 설정으로 시도해 보세요. 그러나 이러한 설정을 사용하면 아티팩트가 발생할 수 있으므로, 맞춤값을 실험해 보는 것이 더 나은 결과를 가져올 수 있습니다. 현재 저는 NF4 모델에 LoRA를 효과적으로 적용하는 방법을 아직 정확히 알지 못합니다.

이 노드는 ComfyUI에서 수정된 반올림 함수를 사용하며, 이 함수는 다음 링크에서 확인할 수 있습니다: https://github.com/comfyanonymous/ComfyUI/blob/203942c8b29dfbf59a7976dcee29e8ab44a1b32d/comfy/float.py#L14

사전 설정이 2, 1, 7 또는 사용자 정의로 설정될 때, 이 세 값은 함수 내에서 EXPONENT_BITS, MANTISSA_BITS, EXPONENT_BIAS를 결정하며, 부동소수점 계산의 정밀도를 제어합니다.

GitHub 저장소에서 프로젝트를 확인하고 기여해 주세요.

https://github.com/bananasss00/ComfyUI_bitsandbytes_NF4-Lora

저자: https://civitai.com/user/egordubrovskiy9112843