RobMix CosXL Edit

详情

模型描述

RobMix CosXL Edit 已升级。

我对使用 RobMix Zenith 得到的结果非常满意,因此我想看看它与 CosXL Edit 结合的效果如何。这个版本的表现同样出色,所以我决定发布它,希望也能对你有帮助。

我之前的版本只是快速简单地合并了一下。而这一次,我花更多时间调整了混合权重,逐块微调,以最大化图像模型的质量与提示遵循能力,同时保留编辑模型的最佳指令执行表现。

底层上,这个版本整合了 Zenith 带来的一切优秀特性。

尝试搭配我的风格提示库使用。

大多数示例图像是直接使用我的风格提示和角色提示作为正向提示,Text CFG 设为 3 到 4,Image CFG 设为 1 生成的。

这些提示已针对 RobMix Zenith 进行优化。

这是一个 CosXL Edit 检查点。 下载前请阅读。

下载 ComfyUI 示例工作流 此处

来自 Stability CosXL HuggingFace

“Cos Stable Diffusion XL 1.0 Base 经过调优,使用余弦连续 EDM VPred 调度。此调度变更最显著的特点是其能够生成从纯黑到纯白的完整色彩范围,并进一步提升了模型在每一步中图像变化的细腻程度。”

“Edit Stable Diffusion XL 1.0 Base 同样经过调优,使用余弦连续 EDM VPred 调度,并升级为支持指令化的图像编辑。该模型以一张源图像和一个提示作为输入,并将提示解释为如何修改图像的指令。”

在我早期的测试中,CosXL Edit 基础模型已经非常出色,但我希望将我最近的一些 SDXL 检查点融合进来,为它增添一丝“难以言喻”的魅力。

优点与缺点

优点:

  • 无与伦比的对比度

  • 超级锐利

  • 似乎比 SDXL 具有更丰富有趣的构图与多样性

缺点:

  • 对 CFG 极其敏感。若超过 4.0,即使使用重缩放,也容易出现伪影

  • 主体知识有限

如何使用 CosXL 检查点

截至我发布此文时,ComfyUI 和 StableSwarmUI 原生支持 CosXL。 我尚未听说其他 Web UI 支持该模型。

如需更精细地控制对比度和细节,请在模型流程中添加一个 ModelSamplingContinuousEDM 节点,并调整你的 sigma_maxsigma_min 设置。

(仅供参考)我理解这些参数代表每一步中可从图像中移除的最大和最小噪声量。

提高 sigma_max 会增强图像对比度,但过度提高会导致图像过曝。似乎 120 是标准值,我更喜欢稍高一点的数值。

你可以将 sigma_min 降低到极低值,但我发现低于 0.0001 或高于 0.1 的值都会导致明显伪影。

提示 CosXL Edit

提示方法很简单:直接说明你希望改变什么。例如,若图像中是一位坐在山顶上的男子,你只需提示“一位金发女子”。

推荐设置

在此处下载示例 ComfyUI 工作流:https://github.com/roblaughter/comfyui-workflows/blob/main/cosxl_edit_example_workflow.json

这些模型对 CFG 极其敏感,因此请保持数值较低。调整 cfg_text 与 cfg_image 的比例,以平衡二者对最终图像的贡献。过高的 CFG 会迅速导致图像过曝。

第一轮生成

  • 40 步

  • cfg_text: 2.5

  • cfg_image: 1.5

  • DPM++ 3M SDE Karras

如需额外提升效果,可添加以下内容:

  • FreeU

    • B1: 1.05

    • B2: 1.08

    • S1: 0.95

    • S2: 0.88

  • 自注意力引导

    • scale: 0.5–0.8

    • blur_sigma: 2.0–4.0

  • CFG 重缩放:~0.3

此模型生成的图像

未找到图像。