Hanasato Minori F.1 Dev LoRA Model

详情

模型描述

Hanasato Minori F.1 Dev LoRA 模型

基于基础模型 FLUX.1 Dev 的 LoRA 模型。

我使用了两种不同的图像进行训练:卡片(不透明)和剪影(透明)。因此背景将是单色的,不够灵活,我认为。所以你可以自由控制背景,我认为。

使用方法

这个 LoRA 可以通过单个词 "hanasato minori" 触发。但我仍建议你在提示词中首先加入 "hanasato minori, medium hair, grey eyes, brown hair",以确保角色特征 100% 正确。(如果你使用 nunchaku 工作流,甚至不需要所谓的触发词。)同时,建议仅使用 Danbooru 数据集中的标签。

此外,我仅测试了 LoRA 权重为 1.25 的情况,尚不清楚较低权重是否仍能正常输出。(你可以自行测试并在评论区告诉我结果。)

在我的测试中,借助 nunchaku

我可以将 LoRA 权重设为 1,且无需在提示词中输入 LoRA 文件名。

角色介绍

Sekaipedia


一些基本的训练参数

训练素材以人物卡面为主(Cards + Cutouts),其中 Cutouts 为透明,Cards 不透明。

训练脚本直接采用 sd-scripts 的 sd3 分支,并受到 fluxgym 编写脚本的启发,自行手工编写脚本与数据设置。

由于我的笔记本配置较差,每次训练效率不高,且至今未能找到有效降低 avr_loss 的方法(除了增加 steps,但那样更耗时)。

如何使用这个 LoRA

和正常使用 SD 1.5 的 LoRA 一样,使用 FLUX.1 Dev 作为基础模型,通过触发词 "hanasato minori" 激活 LoRA(小提示:如果你采用和我一样的 nunchaku 工作流加载此 LoRA,甚至无需写这个所谓的触发词,直接描述角色的主要特征即可)。默认权重设为 1 即可。当然,为确保角色基础特征 100% 正确(我最近的训练策略是通过删减部分标签来固定人物基本特征),建议添加 "hanasato minori, medium hair, grey eyes, brown hair" 等特征词,且尽可能仅使用 DeepBooru 词库中的词语。

面临的挑战

由于此 LoRA 仅针对该新角色进行训练,因此在肢体等细节方面仍存在明显不足。遗憾的是,F.1 不像 SD 1.5 那样可以随意添加 embeddings 作为负面提示来暂时克服肢体问题(严格来说并非完全不能,但如果真的这么做,采样速度可能会极低,严重降低生成效率)。我的评价是:反复抽卡吧(

(当然,如果你有更好的解决方案,欢迎在评论区指点,本人不胜感激 x)

此模型生成的图像

未找到图像。