TruBass

Triple_Headed_MonkeyTriple_Headed_Monkey
90
1.2K
base model
v3 - roughv2 - refinedv1.1 (text)v0.1 (skin)

详情

下载文件

模型描述

沉睡的巨人从深渊中崛起……

https://civitai.com/user/speach1sdef178

欢迎各位。这是我和https://civitai.com/user/speach1sdef178的联合协作项目。我一直在开发TruBass模型系列，而她则在开发Project 0模型系列。

随着我们各自模型的开发进展，我们会定期相互分享成果，并轮流创建各自的合并模型。

在追求相似目标的同时，凭借不同的视角，我们的模型版本逐渐变得既相似又独特。

我们所有的训练均使用可在24GB VRAM上实现的参数完成，其中大部分通过Tensor Art的在线训练平台进行，该平台允许用户训练自己的自定义模型。未在Tensor Art上训练的部分则使用AI Toolkit在本地进行训练。

此外，直到最近，我们的大部分工作都集中在训练LORA，并通过正负权重来实现显著的调整，以引导模型朝向我们的目标。

总的来说，我们在多个领域取得了成功，但也发现当前可用的Flux模型在若干关键方面存在明显不足。坦白说，我们两人一直在为如何在不丧失模型通用功能和降低整体提示遵循度的前提下实现我们的愿景而挣扎。

由于这是一个FLUX DEV模型，根据使用和自定义它的模型许可协议，必须说明对它所做的所有更改。

在此情况下，可总结如下：

  • 我们使用自己为“摩天大楼风格器”设计的标注方式，将约1000种风格训练进模型。

  • 随后我们测试了1000多种风格，识别出哪些风格存在缺陷。

  • 我们利用模型自身的输出创建了合成数据集，逐案反映特定风格最糟糕的错误。

  • 我们针对这些“坏数据集”逐一训练了单独的“坏LORA”。

  • 接着，我们收集并整理了针对每个风格的少量真实世界数据集，并用其训练“好LORA”。

  • “坏LORA”以负权重使用，以移除不需要的元素；而“好LORA”则用于部分恢复模型损失的权重，并更精确地塑造输出风格。

  • 将正负加权的LORA组合后与模型合并，并保存为检查点。

  • 我们每天重复这一过程多次，持续约三个月。定期合并彼此的工作成果，并偶尔融入其他社区模型，如ShuttleDiffusion、Crystal Clear Super、Jibmix和ArtsyDream，以增加上下文信息。

  • 当我们与社区模型合并时，必须重新应用负权重LORA，以避免在合并过程中丢失已有成果。

  • 在某些情况下，也需要重新应用正权重LORA。

本模型的目标是创建一个Flux DEV模型的替代品，其性能大幅提升，以至于在大多数情况下无需额外使用LORA。我们本希望将角色——包括名人——加入模型中，但从根本上说，作为简单的模型合并与LORA训练者，这似乎超出了我们的能力范围。

尽管整体流程看似简单，但这一 endeavor 极其艰难。许多困难源于研究环节，以及开发一套能够使用相同参数在不同数据集上持续训练模型的系统。我们不得不做出若干妥协，因为模型架构要么无法修复，要么需要从零开始彻底重构。

最新版本的模型可通过Tensor Art在线测试。随着我的开发与测试，我将在此处的Civitai上发布供公众下载。

https://tensor.art/models/816904519431515667

之所以这样做，是因为在Tensor Art上训练的成本远低于Civitai。在Civitai上发布一个模型可能需要数天甚至一个月以上才能积累足够的关注度以支持后续模型的训练，而Tensor Art的价格使得每天都能训练一个新的LORA，即使完全不成功也没关系。你在平台上的成功越多，每天可免费训练的LORA就越多。

因此，为确保所有人能免费受益，我将把测试版本仅限于Tensor Art在线发布，以资助持续的训练过程。

我们在追寻光明的同时，不断沉入深渊。

协作指南：构建统一模型框架

欢迎来到 AI模型协作项目！本指南将帮助您深入优化与合并模型，始终将提示遵循度置于首位。通过聚焦模式（艺术媒介）与风格（时尚），并结合正负LORA，我们将创建精准、灵活且突破性的模型。让我们携手合作，重新定义AI模型的潜力。

1. 加入协作

我们是一个致力于改进与扩展AI模型的协作社区。请通过以下方式与我们联系：

  • Discord服务器：AI Revolution Discord
    加入我们，分享进展、获取反馈、实时协作。社区由Olivio Sarikas管理，成员包括其他训练者、合并者、开发者及AI爱好者。

  • Tensor Art：探索模型并在线测试
    测试最新模型版本，提供反馈，支持持续训练。

2. 基础原则

本项目以提示遵循度为核心——确保模型精确生成提示中描述的内容。每一步都建立在此基础上。

关键要素：

  • 模式：代表艺术媒介（例如：油画模式、像素画模式）。

  • 风格：专用于时尚（例如：赛博朋克风格、巴洛克风格）。

  • 正/负LORA：通过放大优点、抑制缺陷来微调输出。

3. 提示结构

提示模板

模式，艺术属性，时代，时尚风格，主体数量，唯一标识符，评级，详细场景/动作描述，¬ 额外细节，滤镜。

示例

油画模式

油画模式，丰富纹理，细致笔触，17世纪时代，巴洛克风格，单人，复杂构图，评级SFW，一位贵族站在富丽堂皇的房间中手持镀金权杖，¬ 光线透过华丽窗棂洒入，柔光滤镜。

像素画模式

像素画模式，8位图形，明亮色彩，1980年代时代，休闲风格，两人，复古电子游戏美学，评级SFW，两个角色在像素化的丛林中奔跑，周围是发光的蘑菇，¬ 鲜艳的精灵动画，像素光晕滤镜。

4. 工作流程

步骤1：构建数据集

  1. 模式数据集：

    • 为每种模式收集10–30张高质量图像。

    • 示例（油画模式）：包含厚重的厚涂肌理、平滑的色调过渡与富有表现力的构图。

  2. 风格数据集：

    • 收集反映特定时尚风格的图像（例如：巴洛克风格、赛博朋克风格）。

  3. 详细提示：

    • 选取5张突出图像，为它们撰写详细提示。这些提示将成为训练的锚点。

步骤2：训练正负LORA

正LORA

  • 用途：强化期望特征，提升提示遵循度。

  • 训练方法：使用代表模式或风格的精选数据集。

  • 权重设置：推理时使用**+0.4**以内权重。避免超过此范围，防止输出失真夸张。

负LORA

  • 用途：抑制图像伪影与错误表现。

  • 训练方法：

    1. 使用有问题的提示生成输出。

    2. 创建“坏数据集”，收集未达预期的图像。

    3. 训练LORA以针对性消除这些缺陷。

  • 权重设置：推理时使用**-0.3**以内权重，避免过度校正。

步骤3：组合正负LORA

平衡是关键。结合正负LORA以实现精细调整：

油画模式，细腻笔触，鲜艳色彩，17世纪时代，巴洛克风格，单人，厚重厚涂油画，评级SFW，贵族在华丽书房中手持镀金权杖，¬ 光线反射在纹理细节上，柔光滤镜。
-0.3:(负油画LORA) +0.4:(正油画LORA)

步骤4：测试与优化

  1. 提示遵循度测试：

    • 验证模型在不同模式与风格下对提示的执行能力。

  2. 调整权重：

    • 根据测试结果微调LORA权重。

  3. 迭代改进：

    • 优化数据集与提示，填补任何不足。

5. 模型合并

利用Google Drive LORA文件夹创建您独特的模型合并版本。

流程

  1. 逐步合并LORA，每一步都进行测试。

  2. 在合并过程中应用正负权重，保持平衡。

6. 负LORA训练流程

步骤1：构建“坏数据集”

  • 使用有问题的标签或提示生成输出。

  • 收集包含伪影、扭曲或表现不佳的图像。

步骤2：训练LORA

  • 使用该数据集训练LORA，以抑制不期望的特征。

步骤3：推理时应用

  • 在推理时使用负权重（最高**-0.3**）应用已训练的负LORA。

7. 工具与平台

  • Discord服务器：AI Revolution Discord

    • 分享进展、与社区协作、获取实时反馈。

  • Tensor Art：

8. 关键提示

  • 权重至关重要：正LORA权重应控制在**+0.1至+0.4**，负权重应保持在**-0.1至-0.3**。

  • 循序渐进：避免一次改动过多，谨慎迭代以保留成果。

  • 协作共享：分享成果，向社区学习。反馈极其宝贵。

9. 未来目标

  1. 完善模式：

    • 确保每种模式表现一致且准确。

  2. 强化提示遵循度：

    • 针对边界案例与详细提示验证并改进输出。

  3. 次要优化：

    • 在提示遵循度达标后，专注皮肤质感、解剖结构与光影表现。

借助这些工具与指南，您将拥有创建精准、灵活、卓越创意执行模型所需的一切。让我们携手，共同打造非凡之作！🚀

此模型生成的图像

未找到图像。