Grid Helper V1 - CLIP LORA [CLIP_L | CLIP_G]
详情
下载文件
模型描述
生成建议
根据我为 SDXL-Simulacrum、Sim-Flux1S 和 Sim-Flux1D 设定的训练标准:
整个结构由以下组合构建:
纯英文描述
在 Booru 标签之前
- 便于直接集成到多种模型中并作为可重用工具。
可作为普通 LoRA 在 Forge 中与 SDXL 一起加载使用。
可在任何带有 CLIP_L 或 CLIP_G 的 Comfy 模型中作为普通 LoRA 加载,并通过其 CLIP 层。
LIGHT 最适合 SDXL-Simulacrum-V2 及类似 SDXL 模型。
MEDIUM 对于衍生的 CLIP_L 和 CLIP_G 模型(如 SD3)表现良好。
POWERFUL 适用于 Pony、Illustrious 及众多重度修改的模型。
这基本上是我首次尝试制作 CLIP LoRA。它对网格具有极强的响应性和表现力。
使用与 SDXL-Simulacrum-V2(又称 Dumb Flux)相同的 grid_[[字母]行][[数字]列] 概念;
- grid_a1、grid_c5 等。
启用更多功能;实际使用时请勿保留方括号,直接替换为内容。
一个包含五行五列的二维网格,共有 25 个可放置图标的潜在位置。
[颜色] 边框
一个 5x5 的 [ ... ] 网格
一个 3x3 的 [ ... ] 网格
一个由各种形状组成的网格
一个适配于网格内的二维图标
一行 [物体形状] 和 [颜色]
一列 [物体形状] 和 [颜色]
负面选项 → 当网格在低强度下过于强烈时使用负面提示
grid
outline
chaotic grid
noisy shapes, chaotic shapes
一点训练背景
我正在开发一个更好的版本,图像更少但效果更优,请持续关注。
由于未训练 UNET,它能自动适用于任何带有 CLIP_L 或 CLIP_G 的模型。如果 UNET 部分存在任何残留数据或模块,可以确定它们完全不必要。
请自行实验,你会发现即使在低强度下,整张图像也会因所选图像而改变,且训练时未使用任何掩码。这是有意设计为以精细方式“渗透”所有内容,为生成提供结构化与非结构化的形状。
训练数据由简单的几何网格图像和节点组成,这些节点专门针对 CLIP_L 和 CLIP_G 对进行训练,使用 SDXL-Simulacrum v2 Full 在 Civit 训练器中完成。
我试图将一个比“三规则”更广泛的规则应用于 SDXL 的网格概念。目前结果表明,该方法不仅适用于 SDXL,对其他模型也具有潜力——现在其在概念整合中更常使用 7 而非 3。目前主要问题是,由于多分辨率(multires)训练,大量位置信息被破坏,因此这仅是一个实验性工具。
我已将训练数据打包在 ZIP 文件中。你将看到,像这样的东西实际上制作起来非常简单。
如果你在此基础上微调,请_不要使用多分辨率噪声_,否则最终产品将迅速丢失屏幕关联性。
使用此数据对 SDXL-Simulacrum 等完整微调的大型模型进行批量训练将无效。
此类模型适合叠加印记,但不适合纳入核心数据集。
这让你略微窥见了我的标注风格,若你感兴趣,可查看数据和描述文件,了解是什么塑造了如今的 SDXL-Simulacrum。
A 2d icon that fits within a grid., A singular 2d icon meant to fill an icon placement within a larger grid with strange shapes., A 2d chaotic icon of random shapes., A singular 2d icon with chaotic shapes with a black border.
A 2d icon that fits within a grid., An empty 2d icon placement with an empty background and a colored border and a black outline within the colored border.
A 2d grid with five horizontal rows and five vertical columns. There is a total of 25 potential positions for icons., There are five different colors of shapes filling the five rows.
A 2d icon that fits within a grid., An empty 2d icon placement with an empty grey background and a grey border.
我使用了 CIVIT 的标注模型。ZIP 文件中的每个描述文件都附加了标注,与原始描述数据略有不同。
它适用于我测试的许多模型,因为这些模型的 CLIP 通常缺乏对字符的网格控制能力。
唯一真正的问题是,它是在启用 MultiRes 的情况下训练的,这意味着你无法在此基础上进行微调,因为 Simv2 的全部训练都基于原始噪声。使用 MultiRes 在 SDXL-Simv2 Full 上微调往往会破坏网格结构。
2 DIM
128 ALPHA
由于维度较低,它更常在图像上叠加印记,但在强度降至一半或更低时迅速失去追踪。这是一次初步强化实验的极佳成果。
它倾向于在多个模型中固化网格结构。








