XL Mechaturn Helper XL

详情

下载文件

模型描述

  • 每个点赞、评论和帖子都会支持我走得更远!

你可以在我的 Patreon 上找到更多项目文件/详情/工作流程:Chamber | 创建游戏与艺术 | Patreon,也欢迎在那里提供进一步支持~
订阅能帮助我持续更新并创作更多内容~

!!! 使用“身体转向辅助器”生成的图像作为Canny输入,权重设为约0.2,可显著提升质量,并充分利用SDXL对提示词更强的理解能力!!!(就像大多数展示图一样,你可以对比提示词与结果,太棒了!我稍后会将这些结果合并训练成LoRA以简化流程~)

计划、未来、即将推出...

- [ ] 更多来自3D模型渲染测试的数据(约100张,如有改进会发布)
- [ ] 更多步骤测试(约5000步,如有改进会发布)

- [ ] 更好的标签和提示词测试(包括通配符,如有改进会发布)
- [ ] charturn(及其他人的转盘)用于SDXL/SD1.5的TI
- [ ] charturn(及其他人的转盘)适用于SD1.5和SDXL的Remix版本,基于约60张精选生成图像,尝试让输出更美观(如有改进会发布),与当前基于20-50张3D模型渲染图像、旨在多视角校正的版本相关
- [ ] charturn年龄/体型/身高/服装轮廓/面部控制测试(如有改进会发布)
- [ ] 我的LoRA/模型将公开发布,而我的训练/生成工具和工作流程仅发布在我的Patreon上

我尝试了XL CKPT/LoRA,旨在改善手部/手掌/手指、头发/头盔/面罩和服装,
针对可控元素/风格、数量和一致性,确实有一定提升,你可从上述样本中感受到,
我感觉的主要改进是模型对提示词有了更好的理解,比如对某些服装和角色,能通过提示词细节更精准地控制输出结果。

但经过训练和测试后,我认为SDXL在现阶段(2024年3月22日)仍存在一些不足:

  • 最主要的是,目前优质的XL检查点和XL LoRA数量不足,难以达到SD 1.5的水准,
    无论是用于风格偏移等设计工具,还是作为基础/美化模型的美感水平。

  • Open Pose控制器的XL版本不如SD 1.5版本优秀。

  • 训练和生成更慢、更困难
    (每张15361024图像放大至19201024后,开启ADetailer处理4张人脸,需耗时4-5分钟;虽然手部改进可能生成更佳结果,但ADetailer中添加超过10个手掌时速度太慢),
    而轻量版虽运行更快,但当前结果仍不够理想。

我对XL检查点不熟悉,且目前训练成本似乎过高,因此我会支持其他优秀创作者,等待更好的成果出现,
对于更多XL LoRA工具,我稍后会进行研究和尝试~

好消息:RTX 4080笔记本电脑(12GB显存)在调整部分设置并更新kohya_ss后,已足够训练XL LoRA!

!!! 如果你想获得类似结果
复用上述原始示例图片中的大部分生成/采样设置
包括ControlNet(OpenPose)以及其他人的LoRA
不同的额外LoRA/TI各有其独特效果,可增删测试以匹配你的目标需求~

以下是我在新工作流程、AI驱动设计及纹理工具(基于摄像机投影)中训练的LoRA之一

适用于SD XL:

Clothturn Helper XL Remix - v1.0 | Stable Diffusion LoRA | Civitai

Bodyturn Helper XL - v1.0 | Stable Diffusion LoRA | Civitai

Clothturn Helper XL - v1.0 | Stable Diffusion LoRA | Civitai

Charturn Helper Merged XL - v1.0 | Stable Diffusion LoRA | Civitai

适用于SD 1.5:

- Charturn Helper Merged - v4.0 | Stable Diffusion LoRA | Civitai
- Bodyturn Helper - v3.0 | Stable Diffusion LoRA | Civitai
- Faceturn Helper - v2.0 | Stable Diffusion LoRA | Civitai
- Hairturn Helper - v1.0 | Stable Diffusion LoRA | Civitai
- Clothturn Helper - v1.0 | Stable Diffusion LoRA | Civitai
- Mechturn / Armorturn Helper - v1.0 | Stable Diffusion LoRA | Civitai
- Sword Gen - v1.0 | Stable Diffusion LoRA | Civitai

这些LoRA未来将与我在Blender中的角色库配合使用,
包括3D模型网格形状编辑指南、自动纹理/着色、权重绘制等……
主要为创建我自己的游戏资产而设计,
或许也能帮助像我这样的独立开发者。

个人推荐检查点(目前测试后仅有一个适合SDXL):
AbyssOrange XL Else - v1.0 | Stable Diffusion Checkpoint | Civitai

此外,训练数据来源如下:约30%为我之前创作并发布的艺术作品渲染图 3D模型 by ChamberSu1996 - Sketchfab
其余为从互联网购买和收集的资源:TrainDataPack.zip
每个LoRA在早期测试版本中均基于约20~50张图像的小型数据集训练,但目前已非常有用。

我为每个LoRA设置的kohya_ss训练参数,仅改变数据、图像尺寸和训练轮次,其余参数均相同(开启XL选项):ToonHairTurn_v1.json
(建议你尝试自己的更好数据和设置,因为我目前对训练尚不熟悉,仅希望本次让每一步/功能可运行,并尽可能保持设置简单/默认,
后续将深入研究合理数据、标签和训练参数,
再仅使用我自己的艺术渲染图像进行训练,以确保可公开使用并符合我的风格与审美)

添加来自Civitai的动态提示词与通配符,可获得无限多样的结果;
使用Gemini和ChatGPT生成提示词通配符进行测试效果也很不错~

如有任何问题或对以上内容感兴趣,欢迎通过留言或邮件联系我[email protected]

此外,还有我的 Discord 频道:
https://discord.gg/SFJFcctfgD

每个点赞、评论、帖子和Patreon订阅 Chamber | 创建游戏与艺术 | Patreon 都能帮助我获得资金,以持续更新、创作更多内容并发布!

此模型生成的图像

未找到图像。