XL-HQVAE-fp16

KBlueLeaf 씨의 EQ-SDXL-VAE를 madebyollin 씨의 SDXL-Fix-VAE에 병합했습니다.

병합은 ABBA-LoRA 방법(SVD 방식)과 Tall-Mask-merge 방법을 사용하여
특징 추출 및 특징만 업데이트를 통해 EQ-VAE의 특징을 선택적으로 합성합니다.
이로 인해 Latent cache 및 이미지 출력 시 세부 정보를 더 쉽게 얻을 수 있게 진화했습니다.
기존 VAE와의 교체는 명도나 채도가 높아진 것처럼 보이지만,
이는 세부 부분의 검은 색 클리핑을 억제하고 톤 표현이 향상된 결과입니다.
(Latent cache를 생성하여 학습에 사용함으로써 세부 정보를 더 쉽게 학습할 수 있을 것입니다)

※ NaN 등이 발생할 경우, fp32로 회피하거나 사용을 중지해 주세요.

※ Latent를 재생성하고 학습에 사용하여 완료되었음을 확인했습니다.
※ EmoLynx를 사용해 fp8 + 2048px + ZtSNR(e-pred)도 문제없이 작동했습니다.
※ 학습 모델의 fp8과 fp16 간 오차는 약 1e-4 수준입니다(이것은 fp16-32 간 오차와 동일합니다).

KBlueLeaf: EQ-SDXL-VAE
https://huggingface.co/KBlueLeaf/EQ-SDXL-VAE

madebyollin: SDXL-VAE-FP16-Fix
https://huggingface.co/madebyollin/sdxl-vae-fp16-fix

ABBA-LoRA
https://arxiv.org/abs/2505.14238

Tall-Mask-Merge
https://arxiv.org/abs/2405.07813

출력 이미지의 시각적 외관에는 큰 변화가 없습니다.
학습에 사용할 경우 효과가 더욱 향상될 것으로 기대됩니다.