Randoseru Buruma

929
8.3K

详情

模型描述

仅用于Randoseru的LoRA /model/76191

Randoseru与Buruma一起使用。

单独使用Randoseru也可以。

单独使用Buruma会导致制服上出现肩带。

Randoseru颜色多为粉色,Buruma颜色多为深蓝色或红色。

示例

lora:randoseruburuma_v1.3:1 携带Randoseru背包,穿着深蓝色Buruma和白色体操服,衣摆有彩色边饰

商业用途请参阅我的个人主页

捐赠请访问:https://ko-fi.com/eeb_p

这是ランドセルブルマ。

也可以单独作为ランドセル使用。

若单独作为ブルマ使用,体操服上会多出肩带。

ランドセル多为粉色,ブルマ多为深蓝色或红色。

示例

lora:randoseruburuma_v1.3:1 携带Randoseru背包,穿着深蓝色Buruma和白色体操服,衣摆有彩色边饰

版本 1.3

改进了手部细节,可选Buruma颜色

携带Randoseru背包,穿着深蓝色Buruma和带彩色衣边的体操服

lora:randoseruburuma_v1.3:1 携带Randoseru背包,穿着深蓝色Buruma和白色体操服,衣摆有彩色边饰

lora:randoseruburuma_v1.3:1 携带Randoseru背包,穿着红色Buruma和白色体操服,衣摆有彩色边饰

lora:randoseruburuma_v1.3:1 携带Randoseru背包,穿着绿色Buruma和白色体操服,衣摆有彩色边饰

版本 1.2

已应用LoRA块权重:0,0,0,0,0,0,0,1,1,1,1,0,0,0,0,0,0

lora:randoseruburuma_v1.2:1 穿着Randoseru背包、Buruma及带彩色衣边的体操服

版本 1.0

若使用LoRA块权重,以下权重效果较好:

lora:randoseruburuma_v1.0:1:0,0,1,1,1,1,0,1,1,1,0,0,0,1,1,1,0,1,1,1,1,0,0,0,0,0 穿着Randoseru背包、Buruma及带彩色衣边的体操服

说明

不确定这个LoRA是否能帮助到制作服装LoRA的人,但我将记录下本LoRA的训练方法。

由于本Randoseru-Buruma LoRA同时学习了Randoseru这一大型配饰和Buruma体操服这类常规服装,因此可能稍显特殊。

由于并非全部训练数据都保留,我仅根据现有日志进行确认,可能存在部分错误。

我并非要求您必须照搬我的做法,而是希望为首次制作服装LoRA的人提供一个入门参考,若能作为“仅凭氛围训练也能获得不错结果”的例子就再好不过了。

训练图像准备

训练图像共244张。

面部已裁剪去除。

使用LamaCleaner去除衣物上的头发、标签、Logo,以及Randoseru和服装的配饰。

使用Rembg(1111 webui插件)清除部分图像的背景(难以简单清除的则保留原样)。

由于被摄体姿势导致手部被遮挡的图像容易在生成时丢失手部,因此已排除。

83张Randoseru-Buruma图像

使用WD14 captioning标注数据,删除了“1girl”和“solo”。

26张Randoseru图像

先用BLIP进行自动标注,再逐张手动修正,添加了“upper body wearing pink randoseru backpack”和“view from ***”。

这样可以将“背包”概念替换为“Randoseru”,并学习Randoseru在人体不同部位、不同角度的附着方式。

由于在训练Randoseru LoRA时发现“背面”和“侧面”视角的生成效果较差,因此增加了这些视角的图像数量以提升训练精度。

9张从背面拍摄的图像

5张从上方拍摄的图像

5张从正面拍摄的图像

7张从侧面拍摄的图像

11张Buruma图像

使用WD14 captioning标注数据,删除了“1girl”和“solo”。

训练

使用https://github.com/bmaltais/kohya_ss.git进行训练。

将上述三类图像分别放入不同文件夹,并调整各文件夹的训练步数(Step)。

图像数量较少的类别,通过增加其文件夹的Step数来平衡训练。

1_randoseruburuma

3_randoseruview

7_buruma

LoRA类型:Standard(普通LoRA)

训练批次大小:4(根据GPU内存调整,若出现内存溢出则降低,若有多余内存可提高)

epoch设为50,但生成时实际为41,最终选择效果最好的第12个epoch。

精度:bf16(fp16也可)

每个核心的CPU线程数:请根据您的CPU设置。

学习率:1

学习率调度器:cosine

学习率预热:0

优化器:DAdaptLion

优化器额外参数:"betas=(0.9, 0.99)" "weight_decay=0.4" "d0=1e-06"

Text Encoder学习率:1

Unet学习率:1

网络秩(Dimension):128

网络Alpha:128

Scale weight norms、Network dropout、Rank dropout、Module dropout:全部设为0(不太清楚这些参数)

最大分辨率:512, 512

停止Text Encoder训练:0

停止Text Encoder训练:ON

附录:高级配置

已移除与服装无关的模块。

此设置是在先以默认权重(全为1)创建LoRA后,逐一尝试删除各层的Block Weight,观察是否仍能生成Randoseru-Buruma图像后确定的。

"down_lr_weight": "0,1,1,1,1,0,1,1,1,0,0,0",

"mid_lr_weight": "1",

"up_lr_weight": "1,1,0,1,1,1,1,0,0,0,0,0",

此模型生成的图像

未找到图像。