MISSILE228 Style Painting

详情

模型描述

版权

使用指南

本模型及训练集仅限教育用途,禁止用于商业用途。

当您使用此模型生成图像,或使用训练集生成模型来生成图像时,必须注明模型来源和艺术家的pid

画家 pixiv 用户ID 429077

https://www.pixiv.net/users/429077

再次警告:您不得在未标注艺术家ID的情况下使用本模型,也不得将此训练集用于其他用途。

数据集水印说明

出于学习目的,我已移除了作者部分作品上的水印。您不得将带有水印的图像用于学习以外的任何用途。您必须承诺仅出于对绘画创作者的喜爱来使用这些图片。

图像作者版权声明

插图转载与使用规则 ▼

关于作品:「非提供给其他作品的原创作品」类内容,允许转载(如在社交媒体或论坛发布等)(在合理范围内转载无需事先联系,也无需消息告知)

但关于「二次创作作品」的转载,以及作品的商业使用,敬请联系

创作使用(如视频等)方面,只要不破坏原作设定,原则上允许使用(例如音乐视频的缩略图等)

不过,如果对作品添加设定后使用(如情景语音视频等),由于不希望出现设定更改或擅自附加内容,因此禁止未经许可的使用。若您确实需要此类使用,请提供希望使用的插图,以及预期添加的设定或情境,可进行协商评估

个人范围内使用(如电脑或手机壁纸、社交媒体头像或封面图等),只要不进行修改,均允许自由使用

创作视频等作品或用于个人持有物中的绘图使用,应视为「作品的使用」而非「转载」

但禁止以诽谤中伤、冒充作者等目的进行转载,或以投稿至Pixiv等插画网站的形式进行转载。若需指出问题,请在该插图的评论区留言,非常感谢!

描述

模型

推荐基础模型:counterfeitV25

推荐LoRA权重:约 0.7

该模型擅长表现光影效果,目前对原作者风格学习得较好,但在夜间场景表现较差。若使用我发布的示例图片的提示词,通常随机种子效果良好。但若使用更详细的描述词,性能可能不佳。

本模型训练分辨率为 1024×1024,强烈建议绘画时采用约 768 的分辨率。

当LoRA权重过高时,图像将被破坏,角色的眼睛会变得丑陋。

该模型存在过拟合现象,提示词过多也会导致画面崩溃。

我在3090显卡上训练超过了一周,仍无法完美复现艺术家的优美风格,十分抱歉,但已尽我所能。

训练

我尝试过使用Loha,但模型难以收敛,角色结构严重失真。我尝试了以下参数(线性层 alpha = 1,卷积层 alpha = 1):

  • 线性层 dim = 128,卷积层 dim = 32
  • 线性层 dim = 64,卷积层 dim = 32
  • 线性层 alpha = 64,卷积层 alpha = 16
  • 线性层 alpha = 64,卷积层 alpha = 8
  • 线性层 alpha = 32,卷积层 alpha = 16

我也尝试过使用Locon,但实验的参数组合较少。

每次训练均进行数万步。

我认为Loha在训练非明显绘画风格时表现不佳。

本次发布的LoRA维度为 = 128。

我也尝试过 dim=192,但未发现性能有明显差异。

正则化

当正则化权重为1、0.5、0.25、0.125时,模型难以收敛。事实上,0.08和0.05收敛也较慢,但0.05仍存在过拟合问题。

数据集

image429077: 133 张图 & 文本
image429077hasreg: 每张图分别存放于独立文件夹,适合正则化
reg: reg_all

可将133张图像对应至2000张正则化图像。也可将每张图像对应生成一张独立的正则化图像,该图像通过对应反演获得的提示词生成。

若需使用整体正则化图像,请使用我压缩包中的Python文件,并更改源图像目录和目标目录。

整合使用有助于风格统一,独立训练则有助于获得有趣的结果。

此模型生成的图像

未找到图像。