Anti-blur Flux Lora

详情

下载文件

模型描述

AntiBlur LoRA 已经得到显著改进!

新版 LoRA 的改进:

  • 景深(DoF)可通过 LoRA 的权重进行调节。

因此,权重为 0 时将产生浅景深,这是 Flux 生成的典型效果。

默认权重 1.0 会将景深减少到一个(希望)更令人愉悦的程度,而不会对风格和构图造成显著改变。目标是让权重为 1.0 时的景深完全符合你的预期:偶尔出现轻微而优美的背景虚化,但不会像 Flux 常见的情况那样过度虚化(稍后详述)。

权重超过 1.0 时可生成深景深效果。LoRA 能够处理高达 3.0 及以上的权重,且质量不会有明显下降。

  • 风格中性

数据集由数百张使用 Flux 生成的图像构成,旨在避免风格偏离原始模型太远;同时少量真实照片被用于防止 Flux 在构图上退化(若用 AI 生成的图像训练,通常会导致这种问题)。

  • 与 Hires. fix 配合良好

该 LoRA 与 hiresfix 配合出色,可进一步提升细节并最小化浅景深效果。而原始 Flux 并非如此:当你试图对浅景深的模糊图像使用 hires. fix 时,图像仍会保持模糊,景深效果不变。你只需让图像中开始出现细节,hires.fix 才能进一步优化它们。

  • 无需触发词

直接加载 LoRA 即可生效。

  • _ Artifact 显著减少_

使用 Flux 生成的图像可最大限度减少 artifact。我还训练了多个模型,并使用 anashel 提供的工具 将其中最佳部分合并(这种合并平滑了各模型边缘,减少了 artifact。此外,合并对提升模型风格多样性尤为有效。)

为何 LoRA 文件大小为 655MB?

我认为一个主要实现“深景深”效果的 LoRA 应该体积较小,因为它并未引入新风格或新概念,仅需消除浅景深即可。

于是我尝试了不同 rank 的 LoRA,但发现背景信息遍布潜空间各处,模型越大,效果越好。因此最终我选择了 128-rank 的 LoRA。

理论上可分离 LoRA 层,仅使用包含景深信息的层,但结果表明景深信息广泛分布于大部分层中。例如,生成微距镜头时,景深由前几层生成;背景信息在模型中无处不在,而持续的浅景深正是 Flux 训练数据的固有特征。更糟糕的是,Flux 在概念上对景深和模糊的理解非常差。因此,不仅其景深量远超 SD1.5/SDXL,对景深的控制能力也远逊于后者。

该 LoRA 如何制作?

首先,我构建了一个庞大的数据集,采用焦点堆叠技术和深景深图像,基于此训练了一个新的 LoRA。接着,利用这个 LoRA 生成了新数据集的图像。

我获得了数百个“抗模糊”LoRA 变体,筛选出各自优势最明显的最佳版本,并将它们融合成一个平衡性良好的单一模型。

下一步是什么?

由于 rank 越高,质量越好,提升结果的明显方法是训练一个完整的微调模型(从而实质上触及潜空间中所有与背景相关的信息),再从中提取 LoRA。

另一种理论方案是:在 Flux 潜空间中找出“模糊”或“景深”的概念/权重,然后用其反向权重创建 LoRA。但这种方法在 SD 系列模型中对景深控制效果不佳。

不过,目前我对结果非常满意。该模型将在一段时间内保持为我最好的努力成果。

此模型生成的图像

未找到图像。