Myne Factory 基础模型

我们模型的基础

技术细节

模型训练

MyneFactoryBase 使用了来自 Yande.re 的约 18000 个高分样本和来自 Konachan 的约 5000 个高分样本进行训练。文件标签通过 3 轮 WD1.4 标签生成器生成，以确保充分识别训练数据中的各类物体。第二次标签生成则使用了一个阈值降低的标签器，生成更短的标签以供后续使用。训练采用 Adam 优化器，手动设置最大学习率并配合余弦衰减。训练在一台配备 RTX 4090 显卡的设备上进行，批量大小为 4，使用 DDIM 采样调度器与 DDPM 噪声调度器，并结合混合精度训练。

文本编码器训练

文本编码器（Text Encoder）的训练时长为总训练时长的 50%，每 10 个周期进行一次冻结与解冻切换。在最后 20 个周期的微调阶段，文本编码器被冻结。

模块融合（Block Merge）

在第 20 个周期时，曾尝试与 BasilMix 进行模块融合。然而很明显，融合后的权重很快被训练冲刷，最终训练结束时，权重已完全回归至原始训练数据。因此，最终决定在正式发布版本中不使用模块融合。

有关训练过程和模型架构的更详细技术信息，请参阅此文档。

作者： 金Goldkoron, tsmkirby, Juusoz

如有任何问题，欢迎访问我们的 Discord 社区。

提示词格式

建议使用 Booru 风格的标签作为提示词。

示例： woman, decorated horns, long robes, fog, long curly hair, freckles, solo, masterpiece, reflective, depth of field, caustics, detailed night, forest, leaves, moonlight, eyes, orange hair, green eyes, vines

示例： 1girl, solo, skirt, book, glasses, long hair, looking at viewer, bookshelf, jacket, plaid skirt, school uniform, long sleeves, parted lips, semi-rimless eyewear, bangs, blush, holding, blazer, indoors, sweater, under-rim eyewear, red-framed eyewear, holding book, brown eyes, library, sitting

这些标签是使用 WD14 标签器 为数据集生成的。

该模型也经过微调，以改善对简短提示词的处理能力。

推荐设置

此模型在以下设置下表现最佳：

• 图像尺寸

  1024x576（适用于宽屏 16:9），768x768（适用于正方形），640x1024（适用于竖屏）

  可自由尝试更高分辨率，Juusoz 的所有示例均使用高于推荐分辨率的设置

• Vae

  vae-ft-mse-840000-ema-pruned.ckpt

• 采样器

  DPM++ SDE Karras（优先推荐）

  2S Karras

  Karras 系列采样器通常生成更具动态感和趣味性的图像

  Euler A

  结果通常更平滑，呈现类似喷枪的效果

• 步数

  30 为最低要求，+70 步可获得良好效果

• 跳过 CLIP：

  Clip 1

  Clip 2 和 Clip 4 可用于实验，我们建议尝试以获得更多的变化

• CFG（引导强度）

  9-12

• 非必需，但以下标签可提升图像质量：

  提示词： best quality, masterpiece

  负面提示词： lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry

社交平台

官网 | Discord | Patreon