XL-HQVAE-fp16

KBlueLeaf 氏の EQ-SDXL-VAE を、madebyollin 氏の SDXL-Fix-VAE にマージしました

マージは、ABBA-LoRA メソッド(SVD方式)、Tall-Mask-merge メソッドを用い
特徴の抽出＋特徴のみ更新、により EQ-VAE の特徴を選択的に合成しています
これにより Latent chache や、画像出力で、詳細を得やすく進化しています
従来VAEとの置き換えでは、輝度や彩度などが上がるように見えますが、
これは細部の黒つぶれ等を抑制し、階調表現が底上げされたことに由来します
(Latent chache を生成し学習に用いることで詳細を学びやすくなるはずです)

※ もし NaN 等を生じる場合は、fp32で回避するか、使用を中止してください

※ Latent 再作成し学習に使用し完了することを確認済みです
※ EmoLynx を用いて fp8 + 2048px + ZtSNR(e-pred) も OK でした
※ 学習モデルの fp8 と 16 での誤差は 1e-4 程度(これは fp16-32 の誤差と同等)

KBlueLeaf：EQ-SDXL-VAE
https://huggingface.co/KBlueLeaf/EQ-SDXL-VAE

madebyollin：SDXL-VAE-FP16-Fix
https://huggingface.co/madebyollin/sdxl-vae-fp16-fix

ABBA-LoRA
https://arxiv.org/abs/2505.14238

Tall-Mask-Merge
https://arxiv.org/abs/2405.07813

出力画像の見た目には大きな変化はありません
学習に用いることで効果をより高めることになると思います