LoRA Extraction tests

https://github.com/TkskKurumi/DiffusersFastAPI/blob/main/model_as_lora.py

我尝试开发一种算法，能够通过减去两个训练好的完整模型来计算 LoRA。其核心是将完整的 Δw（权重差）矩阵压缩为 LoRA。

我认为我的矩阵压缩算法还不够好。我对线性代数并不精通（甚至不确定完成这项任务需要哪些领域的知识）。

将形状为 (m, n) 的矩阵 W 压缩为两个矩阵 A 和 B 的乘积，形状分别为 (m, rank) 和 (rank, n)。根据参数量计算的压缩比为 rank*(m+n)/(m*n)。我发现当压缩比为 25% 时，可以近乎准确地表示 Fantexi 减去 我的动漫模型 的结果；而当压缩比为 5% 并将 LoRA 的 alpha 值翻倍时，也能获得足够好的结果。

我还尝试了另一种算法，以图像作为输入，使用两个形状为 (width, rank) 和 (rank, height) 的矩阵。下图原始尺寸为 1080×1080 像素，被压缩为低秩 32。