LoRA Extraction tests

https://github.com/TkskKurumi/DiffusersFastAPI/blob/main/model_as_lora.py

私は、2つの学習済みのフルモデルを減算してLoRAを計算するアルゴリズムを開発しようとしました。核心は、フルΔw（重み差）行列をLoRAに圧縮することです。

私の行列圧縮アルゴリズムは十分ではないと思います。線形代数にあまり精通していません（あるいは、このタスクに必要な知識の分野すら理解していません）。

形状(m, n)の行列Wを、形状(m, rank)と(rank, n)の行列AとBの積に圧縮します。パラメータ数に基づく圧縮比はrank*(m+n)/(m*n)です。この比を25%に設定すると、Fantexiから私のアニメモデルを減算した結果をほぼ再現できることがわかりました。また、比を5%に設定してLoRAのalphaを2倍にすると、十分な結果が得られました。

私はまた、このアルゴリズムを画像の入力に適用し、形状(width, rank)と(rank, height)の2つの行列を使用してみました。以下の画像は、元の幅と高さがそれぞれ1080ピクセルで、低ランク32に圧縮されています。