OC LoRA Tests

详情

下载文件

模型描述

梅莉塔:

正在对角色转身进行一些基础测试。梅莉塔的设计非常简单,因此我并不期望她有高度的一致性,只是想为循环测试建立一个基准。不幸的是,效果并不理想,不值得写一篇文章。我可能需要后期设计一个更复杂细节的角色来进行更严格的测试。看来对于Illustrious来说,掌握正确的提示词/艺术家关键词对姿态控制有帮助。但数据集仅限于有限的转身角度,因此姿态非常僵硬。anytest CN 可以帮助为角色增加立体感,我认为这仅可能因为她的设计极其简洁。

普里丝卡

一个复杂角色的设计。图像根据服装进行了严格筛选,但LoRA在图像修复方面表现极佳。由于循环使用,其过训练程度高于其他LoRA。

埃尔里斯

这次是一个相对简单角色的设计,用于测试配件训练、聚类物体以及循环测试。

3/4/24 更新:

使用SDXL进行盲测。我稍后会写一篇文章介绍。详情请阅读“关于此模型”。

Kie推荐权重:1

我现在可能需要更改页面标题了,因为我正在使用txt2img ControlNets来增强风格数据集。(我确实用LoRA做过循环,但权重设为0.1~0.2以减弱效果;后来我又试了一轮不带LoRA的,差异并不明显)。如果你想了解增强的具体细节,请往下阅读。

  • Enna LoRA 专注于更简洁的设计,以观察转身中的错误如何影响LoRA效果。

关于

这里是记录我使用单张图片OC LoRA进行测试的地方。目标是以最少的努力,创建一个一致的角色LoRA。如果你愿意花时间,可以参考这个教程(非我制作)来创建一个一致的角色。请注意,这些实验更多是学习性质,而非为了生成精确的LoRA。由于数据集有限,这些LoRA极有可能在未测试过的奇怪场景中出现过拟合。我将来可能会写一篇关于此过程的文章。

工作流程文章

图像当然经过adetailer和高分辨率修复(使用AnimeSharp4x\UltraSharp4x,去噪强度0.2~0.5)筛选。

Isabella的原图是V1中的第二张图。(基础提示词可能有用)

使用方法

V4推荐权重:(0.5~0.8) 块权重有帮助,但非必需。

推荐权重:0.6~0.8 +(推荐使用OUTD预设的LoRA块权重;对于V3,强烈推荐使用块权重扩展)

对于Enna:推荐权重:0.8~1(如出现概念渗出,可降低权重)

使用如flat_chest、petite等术语,以获得正确的角色比例。

使用块权重扩展时,1的权重可能足够,但若要自定义服装,则需降低权重。需要较长的提示词描述角色和环境才能良好运行。

它在基于动漫的模型上表现尚可,我尚未尝试写实或半写实模型。最适合配合图像修复工作流程使用。

问题

  • 着色和服装不一致

  • 面部表情过拟合

  • 发际线偶尔反转

  • V2可能比V3更好;我遇到了瓶颈,但决定先发布当前结果

训练过程

V1

  • 1张全身照 + 1张面部裁剪图(同一张图)

  • 在NovelAi上训练

V2

  • 重用V1数据集

  • 新增上半身、下半身和紧身裤裁剪图

  • 降低重复次数

  • 增加更多标注

V3

  • 移除翻转增强

  • 重用V1数据集

  • 新增头部和裙摆3/4视图、靴子至颈部视图、刘海特写

  • 增加更多标注

其他

  • 我可能已达到Isabella的极限,很难再进一步改进该LoRA。我还可以尝试kohyaSS训练器的其他方法,但不抱太大期望。主要限制在于基础图像质量不高,放大后存在图像伪影。

V4

  • 重用V3数据

  • 将正则化移入主数据集,并为风格添加触发词

  • 使用txt2img结合Canny和线稿,通过区域提示器增强风格数据集,标记为'alternativecostume'

    • 选择颜色最接近的图像
  • 添加风格和服装触发词

  • n tokens增至4

  • 训练期间移除块权重

Enna

V1

  • 基于角色转身设计

  • 使用与V4相同的概念

V1.1

  • 小幅更新,增加更多标注,训练速率降低至1/10

V2

  • 新增泳装和内衣的完整转身图

此模型生成的图像

未找到图像。