Grid Helper V1 - CLIP LORA [CLIP_L | CLIP_G]

详情

模型描述

生成建议

根据我为 SDXL-Simulacrum、Sim-Flux1S 和 Sim-Flux1D 设定的训练标准:

整个结构由以下组合构建:

  • 纯英文描述

  • Booru 标签之前

- 便于直接集成到多种模型中并作为可重用工具。

可作为普通 LoRA 在 Forge 中与 SDXL 一起加载使用。

可在任何带有 CLIP_L 或 CLIP_G 的 Comfy 模型中作为普通 LoRA 加载,并通过其 CLIP 层。

  • LIGHT 最适合 SDXL-Simulacrum-V2 及类似 SDXL 模型。

  • MEDIUM 对于衍生的 CLIP_L 和 CLIP_G 模型(如 SD3)表现良好。

  • POWERFUL 适用于 Pony、Illustrious 及众多重度修改的模型。

这基本上是我首次尝试制作 CLIP LoRA。它对网格具有极强的响应性和表现力。


使用与 SDXL-Simulacrum-V2(又称 Dumb Flux)相同的 grid_[[字母]行][[数字]列] 概念;

  • grid_a1、grid_c5 等。

启用更多功能;实际使用时请勿保留方括号,直接替换为内容。

  • 一个包含五行五列的二维网格,共有 25 个可放置图标的潜在位置。

  • [颜色] 边框

  • 一个 5x5 的 [ ... ] 网格

  • 一个 3x3 的 [ ... ] 网格

  • 一个由各种形状组成的网格

  • 一个适配于网格内的二维图标

  • 一行 [物体形状] 和 [颜色]

  • 一列 [物体形状] 和 [颜色]

负面选项 → 当网格在低强度下过于强烈时使用负面提示

  • grid

  • outline

  • chaotic grid

  • noisy shapes, chaotic shapes


一点训练背景

我正在开发一个更好的版本,图像更少但效果更优,请持续关注。

由于未训练 UNET,它能自动适用于任何带有 CLIP_L 或 CLIP_G 的模型。如果 UNET 部分存在任何残留数据或模块,可以确定它们完全不必要。

请自行实验,你会发现即使在低强度下,整张图像也会因所选图像而改变,且训练时未使用任何掩码。这是有意设计为以精细方式“渗透”所有内容,为生成提供结构化与非结构化的形状。

训练数据由简单的几何网格图像和节点组成,这些节点专门针对 CLIP_L 和 CLIP_G 对进行训练,使用 SDXL-Simulacrum v2 Full 在 Civit 训练器中完成。

我试图将一个比“三规则”更广泛的规则应用于 SDXL 的网格概念。目前结果表明,该方法不仅适用于 SDXL,对其他模型也具有潜力——现在其在概念整合中更常使用 7 而非 3。目前主要问题是,由于多分辨率(multires)训练,大量位置信息被破坏,因此这仅是一个实验性工具。

我已将训练数据打包在 ZIP 文件中。你将看到,像这样的东西实际上制作起来非常简单。

如果你在此基础上微调,请_不要使用多分辨率噪声_,否则最终产品将迅速丢失屏幕关联性。

使用此数据对 SDXL-Simulacrum 等完整微调的大型模型进行批量训练将无效。

此类模型适合叠加印记,但不适合纳入核心数据集。

这让你略微窥见了我的标注风格,若你感兴趣,可查看数据和描述文件,了解是什么塑造了如今的 SDXL-Simulacrum。

A 2d icon that fits within a grid., A singular 2d icon meant to fill an icon placement within a larger grid with strange shapes., A 2d chaotic icon of random shapes., A singular 2d icon with chaotic shapes with a black border.

A 2d icon that fits within a grid., An empty 2d icon placement with an empty background and a colored border and a black outline within the colored border.

A 2d grid with five horizontal rows and five vertical columns. There is a total of 25 potential positions for icons., There are five different colors of shapes filling the five rows.

A 2d icon that fits within a grid., An empty 2d icon placement with an empty grey  background and a grey border.

我使用了 CIVIT 的标注模型。ZIP 文件中的每个描述文件都附加了标注,与原始描述数据略有不同。

它适用于我测试的许多模型,因为这些模型的 CLIP 通常缺乏对字符的网格控制能力。

唯一真正的问题是,它是在启用 MultiRes 的情况下训练的,这意味着你无法在此基础上进行微调,因为 Simv2 的全部训练都基于原始噪声。使用 MultiRes 在 SDXL-Simv2 Full 上微调往往会破坏网格结构。

2 DIM

128 ALPHA

由于维度较低,它更常在图像上叠加印记,但在强度降至一半或更低时迅速失去追踪。这是一次初步强化实验的极佳成果。

它倾向于在多个模型中固化网格结构。

此模型生成的图像

未找到图像。