Flux.1-D + PDXL Consistency OUTDATED

详情

模型描述

特别感谢 BLACK FOREST LABS, INC 的全体团队成员。你们的辛勤工作取得了巨大回报,Flux 是一项真正的成就。

在 ComfyUI 上运行,几乎可以使用任何 Flux 工作区。我下面提供了一张包含便捷工作流的图片。

这是我找到的结合 CLIP 和开发模型的最快且最实用的方法。它仅占用约 20GB VRAM,而非完整组合所消耗的全部 VRAM(那会导致我的电脑卡死)。生成通常在 16 步内耗时不到 20 秒,比基础完整版(每张图约需 2 分钟)更快。它还能成功在新风格化表面上添加文字。

我将自己 SD3 一致性 LoRA 训练中的功能型 L-CLIP 与 Pony Realism 的 L-CLIP 合并,并将其以约 80% 的 Flux CLIP L 强度注入 Flux。下方提供了完整的合并配方。它可能产生也可能不产生完全相同的结果,我已记不清全部组合。我所合并的所有内容目前均可在线获取,因此建议你不要直接使用我的,而是自己动手尝试——你会玩得更开心,甚至可能创造出比我的更好的版本,甚至是极佳的版本。

这种合并带来了一些非常有趣的风格差异,且并未严重破坏原有效果。它需要比标准 Flux 更多的步数,且 VAE 已被内置。

提示词

由于 Pony 合并的影响,模型似乎会响应评分标签。

若使用单一提示词,我发现以下方式相当有效,建议自行实验:

three people, count people in plain english for flux,
若使用单一提示词,请按照类似格式描述,各句子之间用逗号分隔,不要用句号

score_9, score_8_up, score_7_up,
1girl, 2girl, 等用于 Danbooru 和一致性动漫风格,

其他人物标签及进一步描述,

其他 Danbooru 标签以进一步细化描述,此处可提高权重,

结尾描述应基于叠加层而非背景,例如文字或具体的叠加风格细节

Flux 已自带一些 Danbooru 标签,但数量不多——仅有少量,主要似乎是 Safebooru 标签。

设置

16 步以上时画质明显更高。

euler

16 步

平均生成时间少于 20 秒。

使用 Flux 的标准配置 1;我曾尝试配置 7,当目标为 Pony Realism 时获得了一些结果,而约 5 的配置会以某种奇怪方式引入组合。

Config Rescale 节点会损害效果,但会产生某种变化。

SD3 scale 完全破坏效果,请勿使用。

实验表明:CLIP_L 偏离原始 Flux CLIP_L 的程度越高,生成图像就越不连贯、差异也越大。当 Flux 强度约为 20% 时,其上下文几乎与 Realism + Consistency 一致,但图像看起来完全断裂且错误。尽管形态仍保留,我不断调试开关,最终找到了一种将它们连贯、完整融合的方式。

我记忆中的合并配方

PDXL Autism CLIP_L: 0.67
Consistency V1.1 LOHA: 0.33
→ 诞生 Autism_Consistency_Clip_L
PDXL Autism_Consistency CLIP_L: 0.2
SD3 CLIP_L: 0.8
→ 诞生 SD3_Consistency_Clip_L
LORA 微调 → 0.8 LORA + SD3 合并 CLIP_L
SD3_Consistency_Clip_L 诞生。

SD3_Consistency_Clip_L: 0.5
Pony_Realism_V2.1 CLIP_L: 0.5
→ STAGE_2_CONSISTENCY_REALISM_EXPERIMENT_SDXL_SD3
原始版本在 SD3 下并不有趣或强大,于是我放弃了。

Flux 合并:
STAGE_2_CONSISTENCY_EXPERIMENT_SDXL_SD3: 0.2
Flux_Clip_L: 0.8
→ 当前 V1.0 Flux + Consistency

PDXL + Flux 工作流

我提供了一个便捷的工作流,可同时混合 Flux 与 PDXL。请将下方图库中的两位女孩图像拖入 ComfyUI,即可使用 Flux + PDXL 工作流。非必需,但能提供有趣的探索方向。你也可以断开 PDXL,仅运行顶部两个提示词,直接使用 Flux!

PDXL Autism MixConsistency LOHA Version 1.1(合并强度 0.33)

SD3 微调至 SD3 LORA 实验 v0.3,使用 SimpleTuner 训练

PDXL Realism 2.1

此模型生成的图像

未找到图像。