OC LoRA Tests
详情
下载文件
关于此版本
模型描述
梅莉塔:
正在对角色转身进行一些基础测试。梅莉塔的设计非常简单,因此我并不期望她有高度的一致性,只是想为循环测试建立一个基准。不幸的是,效果并不理想,不值得写一篇文章。我可能需要后期设计一个更复杂细节的角色来进行更严格的测试。看来对于Illustrious来说,掌握正确的提示词/艺术家关键词对姿态控制有帮助。但数据集仅限于有限的转身角度,因此姿态非常僵硬。anytest CN 可以帮助为角色增加立体感,我认为这仅可能因为她的设计极其简洁。
普里丝卡
一个复杂角色的设计。图像根据服装进行了严格筛选,但LoRA在图像修复方面表现极佳。由于循环使用,其过训练程度高于其他LoRA。
埃尔里斯
这次是一个相对简单角色的设计,用于测试配件训练、聚类物体以及循环测试。
3/4/24 更新:
使用SDXL进行盲测。我稍后会写一篇文章介绍。详情请阅读“关于此模型”。
Kie推荐权重:1
我现在可能需要更改页面标题了,因为我正在使用txt2img ControlNets来增强风格数据集。(我确实用LoRA做过循环,但权重设为0.1~0.2以减弱效果;后来我又试了一轮不带LoRA的,差异并不明显)。如果你想了解增强的具体细节,请往下阅读。
- Enna LoRA 专注于更简洁的设计,以观察转身中的错误如何影响LoRA效果。
关于
这里是记录我使用单张图片OC LoRA进行测试的地方。目标是以最少的努力,创建一个一致的角色LoRA。如果你愿意花时间,可以参考这个教程(非我制作)来创建一个一致的角色。请注意,这些实验更多是学习性质,而非为了生成精确的LoRA。由于数据集有限,这些LoRA极有可能在未测试过的奇怪场景中出现过拟合。我将来可能会写一篇关于此过程的文章。
工作流程文章
图像当然经过adetailer和高分辨率修复(使用AnimeSharp4x\UltraSharp4x,去噪强度0.2~0.5)筛选。
Isabella的原图是V1中的第二张图。(基础提示词可能有用)
使用方法
V4推荐权重:(0.5~0.8) 块权重有帮助,但非必需。
推荐权重:0.6~0.8 +(推荐使用OUTD预设的LoRA块权重;对于V3,强烈推荐使用块权重扩展)
对于Enna:推荐权重:0.8~1(如出现概念渗出,可降低权重)
使用如flat_chest、petite等术语,以获得正确的角色比例。
使用块权重扩展时,1的权重可能足够,但若要自定义服装,则需降低权重。需要较长的提示词描述角色和环境才能良好运行。
它在基于动漫的模型上表现尚可,我尚未尝试写实或半写实模型。最适合配合图像修复工作流程使用。
问题
着色和服装不一致
面部表情过拟合
发际线偶尔反转
V2可能比V3更好;我遇到了瓶颈,但决定先发布当前结果
训练过程
V1
1张全身照 + 1张面部裁剪图(同一张图)
在NovelAi上训练
V2
重用V1数据集
新增上半身、下半身和紧身裤裁剪图
降低重复次数
增加更多标注
V3
移除翻转增强
重用V1数据集
新增头部和裙摆3/4视图、靴子至颈部视图、刘海特写
增加更多标注
其他
- 我可能已达到Isabella的极限,很难再进一步改进该LoRA。我还可以尝试kohyaSS训练器的其他方法,但不抱太大期望。主要限制在于基础图像质量不高,放大后存在图像伪影。
V4
重用V3数据
将正则化移入主数据集,并为风格添加触发词
使用txt2img结合Canny和线稿,通过区域提示器增强风格数据集,标记为'alternativecostume'
- 选择颜色最接近的图像
添加风格和服装触发词
n tokens增至4
训练期间移除块权重
Enna
V1
基于角色转身设计
使用与V4相同的概念
V1.1
- 小幅更新,增加更多标注,训练速率降低至1/10
V2
- 新增泳装和内衣的完整转身图














