Fdetailer - Adetailer for Furries

版本差异

v1 和 v1.1 非常相似，很难说哪个更好，建议两者都试一试，自己做出判断。v1.1 是为了修正一些小问题而训练的，虽然相比 v1 有所改进，但也出现了一些倒退。我个人略微更喜欢 v1.1 的准确性，因此如果你只想试一个，我推荐 v1.1。

这是什么？

Fdetailer 是一个基于 YOLO 作为基础模型、使用兽迷解剖数据训练的实例分割模型。数据集包含约 2 万张图像，涵盖多种物种和艺术风格，包括人形和野兽形态角色。该模型能够检测并遮罩面部、阴茎、阴道、肛门、阴囊和爪垫。对于不常见的物种或奇特解剖结构，模型可能表现稍弱，但总体而言，作为我首次尝试训练分割模型，其准确率已让我感到惊喜。

Fdetailer 是一个一体化的多类别模型。你可以选择仅检测面部和爪垫、仅检测肛门，或任意组合可用类别。然而，部分界面可能不支持此功能。多类别模型相对少见。

当输入一张图像时，Fdetailer 会尝试定位并遮罩它已被训练识别的对象。实例分割与过去流行的边界框（bbox）模型有所不同。边界框模型检测到物体后，仅在周围绘制一个矩形框，这在图像修复（inpainting）中可能存在问题，因为检测物体周围的区域也会被修复，从而产生难看的接缝或非目标区域的异常细节。

实例分割通过为检测到的对象创建精准的点对点遮罩来解决此问题。这些遮罩类似于你手动绘制覆盖角色面部的遮罩。这有效避免了在面部外区域进行修复时出现的难看接缝问题。

适合谁使用？

适合我。我开发 Fdetailer 是因为图像修复很烦人。我是 ComfyUI 的忠实用户，希望在使用其他软件编辑前，能从基础图像中提取更多细节。我发现我生成的每张图像几乎都需要对面部和生殖器官进行修复，但我实在懒得在决定是否喜欢这张图之前，手动修复每一张。

如果你是那种一次性生成大量图像，之后再挑选最喜欢的类型，那这个工具对你非常有用。你可以自动化修复你角色中最常见（在我看来）需要修复的部分。

如果你是那种逐帧观看生成过程的人，这个工具同样有用。为什么要在享受生成乐趣时，停下来手动修复一个肛门呢？既然有工具能帮你做，何乐不为？兄弟，我懂你。

它真的有用吗？

基本有用。我只是个在网上假装成粉猫的傻瓜，这是我第一次尝试创建分割模型，过程中出现了不少问题。我已尽力修复大部分问题，但我的知识和时间有限，因此这仍是一个持续进行的项目。

准确率尚可。爪垫是最差的，因为不同艺术风格和物种下，其形态差异极大。肛门有时也有问题，但大多数情况下准确率足够。阴囊因数据不足，检测效果不稳定，但我遇到的问题不多。其他部分都相当不错。总体而言，我对当前模型的状态感到满意。

对于罕见物种，模型可能会混淆，具体取决于其稀有程度，但大多数情况下表现尚可。

如何使用？

请参考你所用界面的官方文档以获取更准确的操作指引。你的界面可能允许你根据类别 ID 或类别名称过滤检测结果。例如，如果你只想检测面部，这会很有用。以下列出了模型训练所用的类别 ID 和名称：

0: 面部
1: 阴茎
2: 阴道
3: 肛门
4: 阴囊
5: 爪垫

对于置信度阈值，我建议设置为 0.35–0.5。

ComfyUI： 我推荐使用 comfyui-impact-pack（你还需要 comfyui-impact-subpack 以支持 ultralytics）这一组自定义节点。将模型放入 models/ultralytics/segm 文件夹中。使用 UltralyticsDetectionProvider 加载模型，然后用 SEGM Detector (SEGS) 运行推理，按类别名称过滤检测结果，调整置信度阈值和遮罩设置。将 SEGS 输入到 Detailer (SEGS) 中进行修复。你可以使用 Impact 内置的通配符处理功能，根据检测内容修改提示词。例如，你可以为所有面部检测添加 detailed eyes。更多用法请参考 Impact 通配符文档。

SwarmUI： 文档。将模型放入 (swarm)/Models/yolov8。在提示词中添加 <segment:fdetailer_seg_v11.pt,denoise,threshold>。将 denoise 改为你希望的去噪强度，threshold 改为你希望的置信度阈值。这将修复图像中检测到的所有对象。

你可以在模型名称后用冒号包裹类别 ID 或名称来过滤需要检测的内容。例如，如果你只想检测面部和爪垫，可以在提示词中添加 <segment:fdetailer_seg_v11.pt:face,pawpads:,denoise,threshold>。

A1111 和 Forge 变体： 你需要 Adetailer 扩展。将模型放入 models/adetailer。Adetailer 扩展不支持类别过滤，所有检测到的类别都会被修复。除非 Adetailer 扩展被更新或分叉以支持类别过滤，否则无法更改此行为。此外，默认设置更针对边界框遮罩。由于本模型生成的是分割遮罩，我强烈建议将“仅遮罩内填充像素”值增加至 64 或更高。

更多操作请参阅 Adetailer 文档，因为我本人和我的朋友都不使用 A1111 或其变体。

未来计划

准确性： 我对当前模型状态基本满意，但仍有提升空间。我计划对现有数据集进行新一轮调优，以提高遮罩的准确性，并使用更大参数版本的 YOLO 重新训练模型。

更多类别： 使用更大参数模型后，我更有信心在不损害其他类别准确率的前提下添加新类别。欢迎提建议，我目前计划添加眼睛、嘴巴、睾丸和乳头。我也在考虑添加“穿透”类别，以同时遮罩被穿透的物体和孔洞，但这只是我的幻想。

手部？ 会的，但短期内不可能。手部太复杂了，我需要先做些研究，看看如何最好地解决这个问题。