SDXL VAE finetune + VAE training script

これはSDXLのVAEをファインチューニングした私のv1試作版であり、トレーニングスクリプトも共有したいと思います。スクリプト自体はGitHubで見つけることができます：https://github.com/kukaiN/vae_finetune

私は休暇中にこれを進めているため、説明が簡略になっていることをお詫びします。ファインチューニングスクリプトのREADMEには、元のスクリプトの出典や、ミックスド・プレシジョン対応や、Diffuser形式からSD形式へのモデルキー変換のために私が追加した修正内容が記載されています。

これは私が初めて試みたVAEトレーニングのv1版ですが、これは失敗でした。アニメ画像（チェックポイントデータから約6万枚）で5エポックのファインチューニングを試みましたが、モデル重みの差異や内部重みのコサイン類似度を比較すると、確かにトレーニングは行われていたものの、bf16でのトレーニングと低い学習率ではファインチューニングされたVAEに大きな違いが生じていないようです。モデルハッシュは異なっていますが、その差は十分ではなく、顕著な差異を生み出すことができませんでした。

次に、fp16トレーニングとより高い学習率で2エポックのトレーニングバージョンを試し、何が起こるか見ることにしています。