CrystaliTIXL
详情
下载文件
关于此版本
模型描述
更新：2024年3月3日
完全重新开始。
触发词：cs-cr1stal-v2
此嵌入为生成的图像添加了多彩的玻璃/晶体效果。通常建议在提示词的开头或附近使用触发词。
对于简短提示，通常会得到玻璃雕塑的效果。
对于较长的提示，该嵌入应影响主要主体，可能还有一些次要物体，并可能在各处添加多面宝石。
偶尔会导致主要主体缺失——不知道原因，但我发现其他TI和LoRA也有类似情况。我想这大概就是SDXL的乐趣之一吧 :-)
使用此嵌入时，使用“红宝石”、“紫水晶”、“蓝宝石”等颜色名称通常比直接使用“红色”、“紫色”、“蓝色”等效果更好。
有时嵌入会添加羽毛——不知为何。
权重在 0.8 <---> 1.2 之间效果良好，但在a1111中我几乎不需要调整权重。如果你使用ComfyUI，可能需要上调权重。我不清楚原因，但多位ComfyUI用户告诉我他们普遍需要提升嵌入权重。
我通常使用以下设置：
Euler A 或 DPM++ 2M Karras
宽 x 高：1024x1024 或接近100万像素的组合
30 <---> 50 步
CFG 从 7 <---> 10
高分辨率修复：
使用“Latent（最近邻精确）”缩放，比例在1.25到1.75之间，步数=30，降噪=0.7
可生成极佳图像，但高降噪可能导致变形或重复。
或
使用“4X-UltraSharp”缩放，比例在1.25到1.75之间，步数=30，降噪=0.4
该降噪值足够高，可增加一些细节，又不至于引发过多变形或重复。
模型：
主要在 Crystal Clear XL 模型上测试：
/model/122822?modelVersionId=133832
在 Juggernaut 9、Artium 2、Pixelwave 8、Polyhedron 3 和 ZavyChroma 上也获得了良好效果。
此嵌入与我尝试过的所有LoRA和嵌入搭配使用效果都很好，在一个提示中同时使用多个LoRA与该嵌入也表现良好。
[仅发布于CivitAI]
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
更新：2023年9月10日
此嵌入为SDXL生成的图像添加水晶和/或宝石效果。由于步数较少，效果并不细腻，但我希望它能表明SDXL嵌入仍存在尚未开发的潜力。
可下载的“kcrstal17xl-step00002000.safetensors”为2000步，批次=1，使用kohya_ss在50张1024x1024图像上训练而成。如果我能忍受如此缓慢的训练时间，未来将在此页面更新更精细的嵌入。
展示图采用automatic1111 WebUI输出的成对对比：
带嵌入，不带嵌入
展示图使用Crystal Clear XL模型：
/model/122822?modelVersionId=133832
提示词编写有些令人烦恼，或许是因为我对从Stable Diffusion v1.5到SDXL的变化缺乏直观感受。展示图的提示词多为如下形式：
kcrstal17xl analog realistic __art styles 1__ colour photo of a __crystal_test_1__, very detailed, award-winning
通配符 __art styles 1__ 是艺术风格列表，例如“印象派”。
通配符 __crystal_test_1__ 是短语列表，例如“坐在躺椅上的青蛙”。
你可以调高或调低嵌入权重——我通常使用0.6到1.2之间的值。奇怪的是，我发现即使权重为0.1仍能产生明显效果。
= = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
2023年9月3日
这是一个概念验证，而非经过精炼的嵌入。或许它应归类为“文章”而非普通资源页面？
可下载的“kcrstal17xl-step00001200.safetensors”仅训练了1200步，批次=1，基于50张1024x1024图像。如果我能忍受如此缓慢的训练时间，未来将在此页面更新更精细的嵌入。
该嵌入为SDXL生成图像添加水晶和/或宝石效果。由于步数较少，效果并不细腻，但我希望它能表明SDXL嵌入仍存在尚未开发的潜力。
展示图为ComfyUI输出的成对对比：
带嵌入，不带嵌入
以及两组a1111 v1.6.0的混乱输出：
保存的图像，以及“Approx NN”预览的屏幕截图
杂乱的说明……
我对SDXL的输出印象非常深刻，因此希望将我之前为SD v1.5制作的嵌入转换/重制以适配SDXL。
我曾使用automatic1111 WebUI的Train标签制作了CrystaliTI：
我原以为a1111近期的v1.6.0版本会增加SDXL训练功能。结果没有，根据以下讨论来看，也不太可能实现：
https://github.com/AUTOMATIC1111/stable-diffusion-webui/discussions/11857#discussioncomment-6480804
显而易见的解决方案是kohya_ss：
https://github.com/bmaltais/kohya_ss
我从未使用过它，因此其庞大的配置选项让我颇感震撼！我首先尝试在kohya_ss中复刻CrystaliTI。起初并不顺利，但多亏了以下教程，我最终成功了：
向@Desi_Cafe致谢，感谢该教程。
kohya_ss生成的TI当然与我原始的CrystaliTI不同，但足够相似，我对此感到满意。
下一步是更改kohya_ss设置以使用SDXL，并将其指向我的50张训练图像的1024x1024版本。21小时后，kohya_ss完成了2000步中的1240步（批次=1）。
平均每步超过1分钟。 :-(
相比之下，我认为复刻CrystaliTI大约是0.5秒/步。
我原以为（猜测）速度会减慢4到16倍，没想到竟慢了100倍以上：-(
我使用的电脑配置为：
Nvidia 3060/12GB（非Ti版本），Ryzen 7-2700（8核/16线程），64GB系统内存，多个SSD，Windows 10 Pro。
当kohya_ss生成SDXL嵌入时，它占用了3060的全部12GB显存 + 7GB“共享GPU内存”。我猜测使用共享内存（即系统内存）是速度如此缓慢的原因之一？
是否还有更好的kohya_ss设置可以优化？快速搜索发现信息矛盾且不完整。如果有人知道当前kohya_ss中哪些选项有助于降低显存消耗……我洗耳恭听。
kohya_ss设置为每50步保存一次嵌入，因此我已将它们复制到我的备用机器上：2060/6GB，i7-10750H（6核/12线程），16GB系统内存，多个SSD，Windows 10 Pro。在使用--lowvram参数时，它能在a1111 WebUI（v1.6.0）中生成SDXL图像，通常每张图约耗时2分钟。
我在ComfyUI（当前便携版，无自定义节点）中尝试了该SDXL嵌入。
至此，我们发现：创建SDXL嵌入是可行的，但速度极慢。我的预算无力承担4090，因此除非我能找到在3060/12GB上加速生成的方法，否则我恐怕无法制作太多嵌入。
如果任何kohya_ss专家读到了这里，我已在下载中附上了我的配置，希望有好心人能提出哪怕一丁点能提升生成速度的建议。