Regularization Image Workflow & Collection for FLUX

帮助创作者制作更优 FLUX 模型的资源

随着越来越多的人开始使用 FLUX，人们逐渐注意到，某些 LoRA 会对模型的其他部分产生不良影响：无法区分男女角色、角色元素渗入背景角色，以及在使用特定 LoRA 时完全失去提示不同风格的能力。

这几乎总是由于数据集中缺乏正则化图像所致！

FLUX 对原始训练中元素的遗忘特别敏感，具体取决于用于训练的数据集，因此正则化图像的重要性远高于 Stable Diffusion 模型，应占你数据集的 20-50%。

但我完全理解为何许多人避开了正则化图像；对于大型数据集来说，自然语言标注本身已经够烦人了，这就是我开发以下工作流程的原因！

该工作流程基于两个关键原则：

1. 正则化图像及其对应的标注应尽可能接近原始模型会生成的结果，以保留其权重。

2. 为生成图像编写提示词，远比为现有图像添加标注更省事，也比当前的自动标注方法更可靠。

基于此，我的工作流程将让你使用 Flux 和 ComfyUI 生成图像，并同时保存一个包含所用提示词的对应 .txt 文件。虽然当前工作流程未包含，但你也可以使用为 Flux 设计的自动提示工具，进一步自动化此过程！此外，我还已预先生成了 40 张 1024x1024 尺寸的正则化图像（如需，可使用 chaiNNer 或其他程序批量调整大小），供你启动自己的数据集使用。

正则化图像注意事项：

• 如前所述，正则化图像应占你数据集的 20-50%。

• 应主要包含你所训练类别的多种不同类型：

  • 对于人物类别，正则化图像应主要包含男女、不同种族、年龄、发色、服装、图像风格、姿势等多样化的角色。

  • 与你的类别无直接关联的元素也应占正则化图像的一小部分（10-20%），如场景、背景元素、道具等。

• 在训练时，最好加入一些不包含你主题的样本提示，以便判断模型是否过拟合。