新版本已发布：/model/628865/sotediffusion-v2

基于 Würstchen V3 的动漫微调模型。

本次发布由 fal.ai/grants 赞助。

使用 8 块 A100 80G GPU，在 600 万张图像上训练了 3 个 epoch。

可通过 Fal.AI 的 API 使用此模型。

更多详情请参阅：https://fal.ai/models/fal-ai/stable-cascade/sote-diffusion

有关 SD.Next UI、Diffusers 或 UNet 模型的更多信息，请参阅 Huggingface：
https://huggingface.co/Disty0/sotediffusion-wuerstchen3
CivitAI 页面仅提供 ComfyUI 的检查点模型。

推理参数：

下载主模型（8.14 GB 文件）：

https://civitai.com/api/download/models/563950?type=Model&format=SafeTensor&size=pruned&fp=fp16

下载解码器模型（4.24 GB 文件）：

https://civitai.com/api/download/models/563892?type=Model&format=SafeTensor&size=pruned&fp=fp16

正向提示：

newest, extremely aesthetic, best quality,

负向提示：

very displeasing, worst quality, monochrome, realistic, oldest, loli,

主模型：

采样器：DDPM 或 DPMPP 2M，配合 SGM Uniform
CFG：7
步数：30 或 40

解码器：

采样器：Euler a Karras
CFG：1 或 1.2
步数：10

压缩率：42（可选 32 至 64）

分辨率：1024x1536、2048x1152

只要分辨率是 128 的倍数，任何尺寸均可。

训练：

使用的软件：Kohya SD-Scripts 的 Stable Cascade 分支。
https://github.com/kohya-ss/sd-scripts/tree/stable-cascade

使用的 GPU：8 块 Nvidia A100 80GB
GPU 小时数：220

基础训练阶段

参数 | 值

• amp | bf16

• 权重 | fp32

• 保存权重 | fp16

• 分辨率 | 1024x1024

• 有效批次大小 | 128

• UNet 学习率 | 1e-5

• TE 学习率 | 4e-6

• 优化器 | Adafactor

• 图像数量 | 600 万

• 训练轮数 | 3

最终训练阶段

参数 | 值

• amp | bf16

• 权重 | fp32

• 保存权重 | fp16

• 分辨率 | 1024x1024

• 有效批次大小 | 128

• UNet 学习率 | 4e-6

• TE 学习率 | 无

• 优化器 | Adafactor

• 图像数量 | 12 万

• 训练轮数 | 16

数据集：

用于标注的 GPU：1 块 Intel ARC A770 16GB
GPU 小时数：350

用于标注的模型：SmilingWolf/wd-swinv2-tagger-v3

用于文本生成的模型：llava-hf/llava-1.5-7b-hf

命令：

python /mnt/DataSSD/AI/Apps/kohya_ss/sd-scripts/finetune/tag_images_by_wd14_tagger.py --model_dir "/mnt/DataSSD/AI/models/wd14_tagger_model" --repo_id "SmilingWolf/wd-swinv2-tagger-v3" --recursive --remove_underscore --use_rating_tags --character_tags_first --character_tag_expand --append_tags --onnx --caption_separator ", " --general_threshold 0.35 --character_threshold 0.50 --batch_size 4 --caption_extension ".txt" ./

数据集名称 | 总图像数

• newest：185 万

• recent：138 万

• mid：99.3 万

• early：56.6 万

• oldest：16 万

• pixiv：34.4 万

• visual novel cg：23.1 万

• anime wallpaper：10.5 万

• 总计：5,628,499 张图像

备注：

• 最小尺寸为 1280x600 / 768,000 像素

• 使用 czkawka-cli 基于图像相似性去重

• 约 12 万张极高画质图像被有意重复 5 次，使总图像数达到 620 万

标签：

标签格式：

模型训练时使用随机标签顺序，以下是数据集中标签的顺序（供参考）：

美学标签，画质标签，时间标签，自定义标签，评分标签，角色，系列，其余标签

时间标签：

• newest：2022 至 2024 年

• recent：2019 至 2021 年

• mid：2015 至 2018 年

• early：2011 至 2014 年

• oldest：2005 至 2010 年

美学标签：

使用的模型：shadowlilac/aesthetic-shadow-2

• 得分 > 0.90：极其美观

• 得分 > 0.80：非常美观

• 得分 > 0.70：美观

• 得分 > 0.50：略美观

• 得分 > 0.40：不难看

• 得分 > 0.30：不美观

• 得分 > 0.25：略难看

• 得分 > 0.10：难看

• 其余：非常难看

画质标签：

使用的模型：https://huggingface.co/hakurei/waifu-diffusion-v1-4/blob/main/models/aes-B32-v0.pth

• 得分 > 0.980：最佳画质

• 得分 > 0.900：高质量

• 得分 > 0.750：极佳画质

• 得分 > 0.500：中等画质

• 得分 > 0.250：普通画质

• 得分 > 0.125：差画质

• 得分 > 0.025：低画质

• 其余：最差画质

评分标签：

• general（普通）

• sensitive（敏感）

• nsfw（成人）

• explicit nsfw（明确成人）

自定义标签：

• 图站：date（时间）

• 文本：文本内容为 "text"

• 角色：character（角色）、series（系列）

• Pixiv：art by Display_Name

• 视觉小说 CG：Full_VN_Name (short_3_letter_name)，visual novel cg

• 动漫壁纸：date，anime wallpaper

许可证

SoteDiffusion 模型遵循 Fair AI Public License 1.0-SD 许可证，与 Stable Diffusion 模型的许可证兼容。主要条款如下：

• 1. 修改共享：若您修改了 SoteDiffusion 模型，必须同时共享您的修改内容及原始许可证。

• 2. 源代码可访问性：若您发布的修改版本可通过网络访问，需提供一种方式（如下载链接）供他人获取源代码。此要求同样适用于衍生模型。

• 3. 分发条款：任何分发必须基于本许可证或另一项具有类似规则的许可证。

• 4. 合规要求：若未遵守许可证，必须在 30 天内修正，否则许可证将终止，以强调透明度和对开源价值观的遵守。

备注：凡本许可证未涵盖的内容，均继承自 Stability AI 非商业许可证。