[Guide] LoRA Block Weight - a way to finetune LoRAs

详情

模型描述

Reddit版指南:https://www.reddit.com/r/StableDiffusion/comments/11izvoj

示例使用的LoRA:/model/7649/model/9850

关于SDXL模型的指南请查看:/model/22581?modelVersionId=26964

一句话总结

扩展名称:sd-webui-lora-block-weight

语法:<lora:loraname:casyalweight:blockweights>

用途是什么?

该扩展允许你连接LoRA的个别模块,而不仅仅是整个LoRA。这使你可以使用某些过度训练的模型,排查模型问题,或在某些情况下组合最佳的训练周期。

例如,你可以仅使用LoRA的前几个模块,这些模块主要影响构图。而最后的模块影响色彩色调。或者中间部分模块,负责整体细节的调整。这会更容易生成原本LoRA并未特别设计的内容,例如:

  1. 降低初始模块的权重,可以让你的最爱动漫角色拥有正常比例。

  2. 降低末端模块的权重,可获得相同角色但眼睛占半个脸部的风格,同时保持正常的色彩搭配。

  3. 添加其他LoRA的末端模块,可增强线条质感、反射效果、皮肤纹理,或调整图像明暗。

  4. 一种将所有事物都画成房屋风格的LoRA,略微减弱其热情,开始绘制人物角色。

  5. 加入各种怪异元素、伪影、额外的眼睛和手指等。毕竟,我们将通过移除不喜欢的部分来打破模型原本的运行逻辑。

安装方法

在扩展列表中查找 sd-webui-lora-block-weight 并安装即可。

重启UI后,在txt2img 和 img2img界面中你将看到一个新元素:LoRA模块权重(LoRA Block Weight)

请注意:目前此扩展与 Composable LoraAdditional Networks 存在冲突。Additional Networks 当前已导致此扩展失效。Composable Lora 可以同时安装,但二者只能启用其一。否则LoRA效果可能被应用两次(甚至更多),导致图像过曝或色彩混乱。这很可能是WebUI的底层问题,因为提示调度在某些条件下也会出现类似问题。

顺便说一句,让我解释一下。提示调度(Prompt Scheduling)是指在特定步数改变提示内容,例如 [cat:dog:0,4] 会先画猫,当完成全部步骤的40%时,会从提示中移除 cat 并替换为 dog。这可能导致生成一个同时具备猫狗特征的混合动物,以及一个单独存在的画得不好的猫和狗。

使用方法

以下是一个良好的起点,帮助你开始实验模块权重:

  1. 在提示中,LoRA模型名称和权重后添加另一个冒号,再输入单词 XYZ,例如对于流行的模型:<lora:yaeMikoRealistic_yaemikoMixed:1:XYZ>,或参考截图:<lora:HuaqiangLora_futaallColortest:1:XYZ>

  2. 然后确保插件已启用(Active),展开插件的 XYZ 可视化选项(不要与脚本区域的 X/Y/Z 可视化混淆),并勾选 XYZ 选项。

  3. 选择 X 类型为 原始权重(Original Weights),在 X 字段中输入:

INS,IND,INALL,MIDD,OUTD,OUTS,OUTALL

准备工作完成,你将看到如下表格。

如果对某个结果满意,可将提示中的 XYZ 替换为该图像顶部对应的标签,例如 MIDD:

<lora:HuaqiangLora_futaallColortest:1:MIDD>

如果对所有选项都不满意,可以尝试反转设置,所有权重将变为相反值。为此,将 XYZ 改为 ZYX 并重新生成。这里有个小bug:在文章目前这个阶段,你需要额外添加一个LoRA,权重设置为0,标签为XYZ。例如,我加入了Paimon。我觉得Paimon无论怎样都拥有权重0,大概挺开心的。这个问题可能修复,也可能不会。正如插件作者解释的,这需要修改插件的逻辑。

因此示例为:<lora:HuaqiangLora_futaallColortest:1:ZYX> <lora:paimonGenshinImpact_v10:1:XYZ>

如果你喜欢某个反转后的选项,就需要展开下方的权重设置列表,找到对应行(例如 MIDD),复制到记事本/Excel/Word中,将所有1替换为任意字符,所有0替换为1,再将原先的字符替换为0,然后直接将编辑后的结果粘贴到提示中的 ZYX 位置。或者你也可以在评论区找到现成的权重配置。记得删除提示中的 Paimon 并禁用 XYZ 可视化。

此模型生成的图像

未找到图像。