lumi_鹿鸣——人工桌面(米哈游)

详情

下载文件

模型描述

米哈游人工桌面鹿鸣的LoRA模型,由于没有类似质感的底模,最终选择SD1.5官方模型作为底模,这样与各种衍生模型的契合度较好。本来最初只打算训练最新直播中的两套服装,共六十多张截图,但由于同一段直播中背景与服饰相似度过高,导致在训练损失值很低的情况下,背景和服饰已过拟合,而脸部仍处于欠拟合状态。因此,后续从鹿鸣抖音号下载短视频,进行多样化图片截取,共收集三百多张截图。部分视频清晰度较低,截图质量不佳,接着基于前一轮训练的模型继续训练,最终得出当前结果,整体效果尚可,包含多套服饰。但因鹿鸣视频背景多为浅色,与肤色过于接近,导致手部难以分辨,因此在不重绘手部的情况下,需依赖脸部特征抽卡。权重在0.8左右效果较稳定,配合EasyNegative等负面提示词模型效果更佳。

当权重为0.4时,可保留模型主体特征,并提供更大自由度以更换姿势、服装及背景,生成更通用但还原度较低的图像。

不开高清修复:我通常先使用文生图批量生成低分辨率图像,再通过图生图的SD upscale脚本进行超分辨率放大。540x960的图像经过两次放大,可获得效果更佳的4K图片。此方法比直接高清修复更节省显存,可让配置较低的硬件更快生成高清图像。放大时需微调参数,因是多图放大后拼接,重绘幅度不宜过大,否则会导致图像各部分无关联。使用真人底模绘制动漫人物时,若还原度过高反而可能不够美观,建议降低权重,生成类似COSPLAY风格的图像。

开高清修复:初始分辨率为540x960,采用R-ESRGAN 4x+放大算法,重绘幅度设为0.3进行2倍高清修复,再通过图生图使用SD upscale脚本,选择相同算法,重绘幅度设为0.1进行超分放大,可获得效果不错的4K高清图像。(此方法第一步直接生成1080P图像,较依赖运气,不易批量操作,16GB显存最多同时生成4张图像,出图及修图效率较低,但质量较高。)

lumi_鹿鸣——人工桌面(米哈游) - v1.0 | 吐司 [Blocked Link] (tusiart.com)(此处可在线跑图查看效果,需开启高清修复并依赖脸部抽卡,速度尚可,每日有免费额度)

2.0版本介绍见下:(注意:2.0版本必须使用SDXL版本模型作为底模,VAE也需使用配套版本)

2.0版本是以SDXL 1.0为底模训练的LoRA模型,在原有数据基础上替换了部分模糊图像,新增了半夏等服装及最新一期直播中的短发造型,需配合SDXL 1.0模型运行。这是我首次训练SDXL模型,历经两天二十余小时的炸炉后,终于训练出勉强可用的模型。只能说SDXL模型的训练难度远高于SD1.5,无论在方法还是硬件要求上都提升不止一个档次,且最终效果可能还不如1.5版本。但SDXL在语义理解上远强于SD1.5,使得模型极难过拟合,通过标签精准还原造型变得尤为困难。

当权重为0.8~1时,还原效果较佳;低权重下自由度更高,但服装等造型差异较大,建议自行尝试以获取最佳效果。SDXL模型训练流程尚不成熟,优质底模也较少,因此可能存在各类问题,敬请谅解。

2.0提示词请参考封面所用的tag模板,该tag系他人训练的另一鹿鸣模型所用,我试用后发现效果极佳。底模推荐直接使用SDXL1.0原版模型,效果优于其他模型。其余服装tag将陆续发布。

lumi_鹿鸣——人工桌面(米哈游) - v2.0 | 吐司 [Blocked Link] (tusiart.com)(此处可在线跑图查看效果,速度尚可,每日有免费额度)

此模型生成的图像

未找到图像。