ŞİH

JemniteJemnite
212
1.3K
base model
v1.5v1.1v1.0v0.9

详情

下载文件

模型描述

又称土耳其模型（SHIH）

描述

随机合并了我最近下载的两个最喜爱的模型：Better Days 和 ΣΙΗ。这是一个新手 vpred 模型，保留了我认为两者中最出色的特性：继承了 ΣΙΗ 强大的艺术家标签与构图能力，同时融合了 Better Days 的部分光影效果。该模型通过 un-sepia-fying 对 Better Days 进行了机制合并操作，随后整合了 ΣΙΗ 的构图、vpred 和艺术家模块，最终使用 NVIDIA 的 QLIP-L-14-392 对 CLIP 进行了改造。更多细节请参见“合并流程”部分。

使用方法

标准 NoobAI 质量标签适用。详情请查阅 NoobAI 文档。此外，very aesthetic 正向标签和 displeasing 负向标签也有一定微弱影响。根据 LAXHAR 实验室建议的提示词顺序为：艺术家标签, [你的提示词], 质量标签

这是一个 V-pred ZSNR 模型，无法在 Automatic1111-webui 上运行。 要使用 vpred 模型生成图像，你必须切换至 Automatic1111 webui 的 dev 分支、ComfyUI 或 reForge。我个人推荐使用 reForge。本模型附带捆绑的 VAE。

要复现示例图像，你可能需要调整 reForge/ComfyUI 的扩展插件。一旦我完成相关文章，会提供一个链接说明如何使用 PAG 和 SEG。但目前若想完美复现图像，最佳方法是下载图像并将其拖入 reForge 的 PNG Info 标签页，务必关闭“高分辨率修复”覆盖选项，因为某些原因该扩展会自动勾选它。

别像 这个傻瓜 那样。

许可证

与 NoobAI 相同。

合并流程

为促进知识透明与传播，以下是完整步骤。部分步骤已简化，如果你下载了正确的 ComfyUI 节点，应能自行完成。大部分流程通过 sd-mecha 实现，如果你/DeepSeek 熟悉 Python，也可通过 Comfy-Mecha 扩展将其适配至 ComfyUI。

0. betterDaysIllustriousXL_V01ItercompPerp.mecha
1. betterDaysIllustriousXL_V01Cyber4fixPerp.mecha
2. betterDaysIllustriousXL_V01CyberillustfixPerp.mecha
3. merge "weighted sum" &0 &1 alpha=0.5
4. merge "weighted sum" &0 &2 alpha=0.5
5. merge "weighted sum" &3 &4 alpha=0.5

将生成的文件重命名为 betterDaysIllustriousXL_V01ItercompCyberfixPerpWeightedSum05Squared。你也可以将第3步命名为 betterDaysIllustriousXL_V01ItercompPerpCyber4fixPerpWeightedSum05，第4步命名为 betterDaysIllustriousXL_V01ItercompPerpCyberillustfixPerpWeightedSum05。或者，你也可以直接从 这里/这里 下载，因为我狂热地保存了我制作的每一个检查点。

（如果你真想知道它们长什么样，可以看 这里。）

6. recipe_deserialize_mda_queue.py
7. vpredtimeout2emb.py
8. recipe_deserialize.py

最后一步是 QLIP 替换，我直接在 ComfyUI 中完成而非使用 sd-mecha，因为更简单，且 ComfyUI 默认已集成大部分节点。

可能的改进： 步骤 3-5 可能可以通过比简单加权和更复杂的合并方法（如 SLERP）实现更好效果。目前比较 Fisher 可能是最佳选择，但我完全不知道如何实现。也可以从其他模型获取文本编码器权重。Lobotomized 是最简单的选择，因为 CLIP 本质上相似，但它对 UNet 段做了轻微调整，以增强关键词表现力。你也可以直接跳过步骤 0-5，直接使用 SHADOWMAXX，但我不清楚这会是好是坏，未经过测试。QLIP 替换存在争议，可跳过或尝试使用 DARE 合并。遗憾的是，CLIP 合并技术尚不成熟，因为 CLIP 缺乏可识别的权重块。

欢迎随意借用并改进这项技术——如果你能做到，请一定这么做。如同 LobotomizedMix 一样，代码在此：https://pixeldrain.com/u/HNXx4Vmp

问答

  • Q：名字太蠢了。
    A： 谢谢。

  • Q：封面字体怎么这么蠢？
    A： 不是我的错，土耳其语字体总共才8种左右，你让我怎么选？行行好，我选择空间极其有限。

  • Q：这个模型自带艺术家标签吗？
    A： 是的，而且非常强大。建议你多尝试组合，找到你喜欢的艺术家搭配。

  • Q：与原始模型相比如何？
    A： 我的评价是主观的，但我觉得它提升了 ΣΙΗ 的质量，同时增强了 Better Days 的灵活度和表现力。Better Days 的主要问题是它被锁定在一种特定光影风格中。尽管你可以调整纹理质量、平滑度，但光影效果极难改变——更确切地说，你无法得到“非动机性”光照。因此，尽管 Better Days 对艺术家关键词有响应（参见 这里），但最终画面都看起来大同小异，因为光照和阴影永远来自相同角度。

  • Q：什么是“非动机性”光照？
    A： 光照，不仅在图像中，在电影中也是有方向性的。通常，主要光源是“实际光源”，即画面中你能直接看到的物体，比如 这张图 中的月亮，就是实际光源。再进一步，如果我们能看到理论上存在的光源，就称之为“动机性”光照。在 这张图 中，我们看不到光源，但光线方向一致，这种光源在现实中是可能存在的。而“非动机性”光照则没有解释来源，仅仅为了照亮场景而存在。为什么 Better Days 会产生大量剪影？因为 Better Days 讨厌非动机性光照，偏好真实、动机性光照——而观众不会随身带聚光灯。所以你会看到这样的效果： 这就是 Better Days 中剪影如此突出的主要原因，同时它也特别适合发光的眼睛，因为它的默认模式就是实际/动机性光照，几乎从不使用非动机性光照。这既是优势也是劣势：虽然能做出极具氛围感的戏剧性场景，但你被固定在了这种生成风格中。使用 Better Days 时你不会察觉，但一旦你开始做 x/y 对比测试，你就会明显注意到这个问题。

  • Q：但 betterDaysIllustriousXL_V01ItercompCyberfixPerpWeightedSum05Squared 的光照比 Better Days 还差啊。
    A： 没错，确实如此。因为 betterDaysIllustriousXL_V01ItercompCyberfixPerpWeightedSum05Squared 是“过曝”的。Cyberrealistic 和 Cyberillustrious 都是基于现代数码相机拍摄的、经过自动修图的图片训练的现实主义模型。模型学会了这种风格，移植后便通过提高色彩分级来弥补非动机性光照和照明的不足。而现代电影之所以看起来黑乎乎一片，就是因为拍摄时布光充足，但为了营造黑暗和阴影，他们会“压暗黑色”，于是就有了《权力的游戏》第八季第三集。

  • Q：为什么要和 ΣΙΗ 合并？
    A： ΣΙΗ 拥有极佳的内置艺术家标签，而我们也需要替换 betterDaysIllustriousXL_V01ItercompCyberfixPerpWeightedSum05Squared 中导致过曝的模块。通过合并，新模型继承了 ΣΙΗ 优秀的艺术家标签与构图，同时获得部分光影提升，还能支持非动机性光照。模型合并的核心是平均彼此的优缺点，而在我看来，这次合并后的成果比两个原始模型的损失更多。

  • Q：什么是 QLIP？
    A： QLIP 是 NVIDIA 自研的分词器/自编码器，旨在同时理解图像（如标签、自然语言识别等）并重建图像。它可作为某些使用 CLIP 的模型的直接替换，但因 Noob-AI 的 CLIP 已经过深度微调，此处唯一可行的方式是将 CLIP-G 与 QLIP 之间的差异应用到微调的 NoobAI CLIP 上。

  • Q：QLIP 的效果如何？
    A： 据我观察，它显著提升了模型遵循提示的能力，整体优于 CLIP-G。但由于它是“合并”进微调 CLIP 而非原生训练的，一定程度上损害了潜在空间中的关联性。大多数图像中你不会察觉，但当你尝试提示超过三个角色时，QLIP 模型的表现会比原生 CLIP 模型明显更差。因此，我也上传了不含 QLIP 的原型版本，尽管我认为它在多数提示中效果较差，但对某些用户的工作流来说可能更好。

  • Q：有小马吗？
    A： 没有。

  • Q：土耳其语版本？
    A: （请不要真的用土耳其语私信我，我根本不懂，只能用谷歌翻译的破烂皮钦语回复你）

此模型生成的图像

未找到图像。