Mercy / Mercy Cosplay - Flux.dev
详情
下载文件
关于此版本
模型描述
此LoRA可实现在Flux.dev上描绘出《守望先锋》中真实感的 Mercy / Mercy 角色扮演形象。
更具体地说，默认服装、女巫服装，以及一点“胜利之翼”和“齐格勒博士”服装都已包含在内……还有所有创意Flux能想象到的一切！
本次上传提供了两个版本。它们的示例图像使用了完全相同的种子、提示词和其他设置，区别仅在于数据集的标注方式。更多详情请参见训练部分。¹=主版本，²=_sc版本（短标注）
主触发词：mercy²（/ mercy cosplay、mercy outfit 等）¹
每个角色扮演元素均已单独打标，因此你可以——甚至可能必须——使用它们。
光环²（/ 金色光环¹）
法杖（扫帚法杖）
手枪
标志性发型¹、标志性发型假发¹、假发²（... 或更详细的描述如“标志性 Mercy 发型假发”）
翅膀（[白色、黑色、...] 机械翅膀（带 [金色、黄色、发光、透明、...] 翼片）、羽毛翅膀、天使翅膀）
已打标的完整服装：
Mercy（这是默认服装，如需更显塑料质感，可添加“白色塑料护甲”等词；否则请添加“布料”等词）
女巫 Mercy（仅用此词即可，如果效果不佳，可补充更多细节，如：臀部的书、扫帚法杖、女巫帽等）
胜利之翼 Mercy（训练数据似乎太少，难以稳定或良好地呈现，通常只会生成默认 Mercy 服装。以下关键词能帮助LoRA稍作记忆：羽毛翅膀、镶金边的白蓝长袍、常春藤等与该皮肤外观相近的词汇）
齐格勒博士 Mercy（训练数据同样不足，最佳效果需添加白大褂、标志性发型假发等）
推荐LoRA权重：根据你想要的风格，建议使用 0.7 – 1.0。
接下来，我们谈谈
训练
我对这个数据集有个想法，便直接执行了，之后偶然读到Pyro的帖子《Flux比你想象的更聪明！——关于自定义模型的其他惊人发现》，决定尝试一下。
本数据集包含178张图像，尽可能多样化（但不含Harold或吉娃娃）。我使用InternVL2-8b为所有图像生成基础标注。我原本希望模型能通过提示识别服装，但事实并非如此（至少我的提示技巧不够好）。于是我修改了主提示，仅让模型描述图像整体内容，对主体仅作极简说明。随后我手动逐张标注，补充了所有我想要的细节（服装类型及具体物品）。
接着，我复制了该数据集，将标注精简为仅保留服装和相关物品，以验证Pyro提出的发现。
这意味着原本的标注：
“胜利之翼 Mercy 角色扮演。角色站在岩石地形上，背景是瀑布，周围绿植茂密。身穿镶金边和复杂纹路的白蓝长袍，背部配有巨大的白色羽毛翅膀。右手持手枪。整体场景宁静自然，阳光透过树木洒落，营造出平和氛围。左下角有‘Shappi’水印。”
被简化为：
“胜利之翼 mercy with pistol and wings, wig”
*附注：我始终在原始标注中包含“服装”或“角色扮演”等词，因此仅写“Mercy”而不加其他内容时效果较差。
随后，我使用ostris的AI工具包，以完全相同的参数训练了这两个数据集：
Alpha、Dim：16
总步数：9000
标注丢弃率：0.05
分辨率：512、768、1024
批次大小：1
噪声调度器：flowmatch
学习率：1.7e-4
线性时间步
量化（含梯度检查点）
（每个模型在RTX 4090上训练约耗时6小时）
训练完成后，将safetensor键转换为Kohya兼容格式，再将模型重新调整为rank 16（略微减小存储空间，几乎不损失细节）。
以下是我的观察：
两个LoRA均能正常工作，且仅用单个单词标注更为简便。
但我个人更喜欢基于长文本标注训练的LoRA的平均效果。其生成图像更具“电影感”，这是个人偏好。
此外，我认为使用更详细标注的LoRA拥有更强的精细控制能力，但有时需要更多文字才能获得理想结果，同时它对原始数据集中水印的复现也更少。
其一个缺点（如果你愿意称之为缺点的话）是：若不明确指定“角色扮演”或“服装”，它有时会生成插画感较强或不够写实的图像——而Flux中无法简单添加负面提示来纠正。
我也觉得，更详细的标注模型在表现精细细节（如特定发型形状）上更出色。
综上所述：
我认为Pyro的发现很有价值，但我并非完全认同。短标注确实省时，但在支持多种细微变化的LoRA中，灵活性较低。我建议在较小、较简单的数据集上使用短标注以节省时间。
但我自己仍会为更复杂的内容使用长标注。我确信，若使用长标注，必须确保标注质量极高。若不愿投入精力制作优质标注，那就用短标注。
不过，我对Pyro提到的其他观点持高度怀疑态度，我不相信在标注过程中可以“与你的LLM对话”。
恭喜你读到此处！
如果你有任何问题，我很乐意回答，但你可能需要等一个月左右，接下来几周我将非常忙碌，可能不会登录CivitAI。