SDXL / Flux.1 D - Matte (Vanta)Black - Experiment
详情
下载文件
模型描述
Flux.1 D - V2.0
最后一次尝试让它在Flux中运行……所谓“运行”，就是尽可能把事情搞砸。它几乎不可能再复现SDXL版本的效果。即使训练了6000步，仅凭观察也能明显看出这一点。SDXL就像是“好吧，我会学，但我会加入自己的风格”，而Flux则疯狂地对抗或补偿它不理解的东西，或者不清楚你究竟想让它学什么。另一方面，经过长时间训练后，它确实能完全生成那些图像，甚至达到1:1复制训练数据的程度，结果几乎全是纯黑。Flux可以完美复制图像，比如照片，甚至只需几步就能做到。
就像我在上一个Flux版本中说的，大部分情况下，我想把它和其他更鲜艳或有特定风格的LoRA混合使用。
与SDXL v.3.0相同的图片，Flux版本还额外增加了一些（部分为横向构图）。但……我移除了三张图片，它们很可能是导致我或其他人发布图片中至少80%出现异常的原因。我原本在SDXL版本中就想这么做，但当时放弃了。原因很简单：这些图片太过主导，导致大量奇怪的行为和生成特定图像的偏差。我在Flux v.1.0版本中就看到了这个问题，现在它们被删掉了。虽然人气可能会因此下降，但我根本不在乎。
我觉得很多人只是因为某个LoRA在他们的“工作流”里就用它。有些情况下，不用LoRA生成的图像反而更好，你永远都不会知道。风格类LoRA是另一回事，因为它们在生成图像时会明显添加某种风格。但这个东西却有很大潜力把一切变得更糟，所以我没有精挑细选我发布的图片，就是为了说明这一点。如果你加入一个具有强烈发光或光源（如蜡烛）的元素，Flux（以及一些SDXL模型）会自动添加黑暗环境，因为光源总需要某种黑暗才能被察觉（大晴天的车灯根本不起作用）。
别问我它在NF4或QQUFUF 5.64.3255 K4 2版本里能不能用——谁知道那是什么鬼东西。文件其实并不大，你可以自己测试。除非这些版本能提供比普通FP8/16开发版更显著的优势（而不仅仅是降低内存占用或可忽略的速度提升，甚至更差的速度下降），否则我不会碰它们。
我知道，如果有人在你刚习惯一个模型后不久就发布新版本，会有多烦人。我不会再继续推进这个了，就看看我自己或别人能不能从中得到有用的东西。
另外，用Photoshop准备图像的工作量根本不值得，尤其是当你知道它不会带来任何改变时。不如做点新的、更可能很蠢的事——有趣或产生随机效果……或者干脆把旧模型“Fluxify”一下，看看会发生什么。
Flux.1 D - V1.0
在用Kohya和其他工具捣鼓了一番后，我意外地发现某些非常奇怪的概念LoRA在Flux上居然能成功运行，于是我想试试这个，看它能不能行。实际上，我根本没打算做Flux版本，因为Flux在对比度方面（大部分时候）表现已经很好了。我的主要目标是消除那种令人讨厌的虚假/人工感，我以为一个如此“模糊”的数据集能奏效。好吧，它有时确实能起到一点作用，但更多时候反而更糟。
和SDXL版本一样，它更适合与其他LoRA搭配使用，尤其是那些增加大量色彩的LoRA。
抱歉我对提示词和图片有点懒散。我基本沿用了V.3.0的素材，但目前用于展示应该够了。有时它会抹掉细节，却没添加任何特别有趣的东西（比如水母或鹦鹉的图像）。
对应图片使用相同种子
前两张图是有和无LoRA的对比，之后顺序颠倒：先无LoRA，再有LoRA（有时强度不同）
有些图片开头加了触发词，但我怀疑Flux里这些词根本不需要
基于V1.0数据集，而非新数据集（不想用太多图片）
我不确定是否还要为Flux做更多LoRA，但我会大量测试。目前各种版本太混乱了，感觉花大量时间去搞一个可能10小时后就过时的东西不值得。
顺便提一句：这个模型是在4060 TI（16GB）上训练的，最大VRAM占用14.4–15.2GB，每步耗时3.95–5.15秒，分辨率512x，Rank为4……所以根本不需要4090。当然，用4090会更快，但如果你能“启动后就不管它，去做别的事”，那也不是问题，除非你想频繁测试。
和往常一样，我会偶尔用它，看看能不能得到点有意义的结果，但更可能只是满足我的好奇心。
V.3.0
在V2.0的小失误之后，我这次确保这是真正的版本，没有合并或其他操作。一开始我有点怀疑，因为添加了这么多图片，会不会偏离第一版太远，但幸运的是，并没有。
我很高兴很多人找到了这个LoRA的用途，并生成了这么多图像。考虑到它原本根本不是为现在这些用途设计的，看到它能有别的用处（就像所有LoRA一样）还是挺不错的。
这很可能是未来一段时间内的最后一个版本，因为单纯增加图片不会改变主要效果。大部分效果其实来自使用不同模型、LoRA组合和提示词。
我会更专注于实际生成图像，以寻找更多组合（顺便放松一下），制作新的奇怪LoRA，修复旧LoRA等等。另外，我从别人那儿下载了大量素材，但大部分还没机会用上。
再次感谢所有已发布的图像，我希望看到更多，尽管在这个快速发展的AI领域，每个LoRA都有保质期，炫酷感终究会消退。 :)
V2.0
关于V2.0的小公告（02.04 或 04.02，取决于你所在的国家）
好吧，我正式是个傻子。
我开始训练另一个LoRA时，发现即使过了2000步，采样图像仍毫无变化——这几乎是不可能的。于是我开始查找原因，发现我忘了改一个设置（或者该说没设对）：LR预热（warmup）。通常我不会用预热步数，但之前我测试过它到底有什么用，当时用的是只有4张图的数据集。我一直设100个epoch，但模型是每500步输出一次，而非每个epoch输出一次。预热设成了32%，所以4张图 × 10次重复 × 100个epoch = 4000步（32%预热 = 1280步几乎没变化）。
这个LoRA用了同样的设置，只是数据集有60张图（60 × 10 × 100 = 60000步，32%预热 = 19200步）……所以即使训练了12000步，它都还没真正开始——这意味着我基本就是在训练“热空气”。这解释了为什么之前一切看起来那么奇怪。我睡着了没注意到，尽管一开始我就觉得它要花这么长时间才见效很奇怪，我还以为是图片本身的问题。
是的……这个版本完全废了，它大部分效果其实是和V1.0合并产生的。
我周末下班回来后会重新训练一次，这次用正确的设置。
真的很抱歉。也许这只是一个无心的愚人节玩笑 :) …… :(
因为最近我频繁使用这个LoRA，而有一段时间没上传新LoRA了，所以加了几张新图。这主要是因为我工作太忙，而且我总是挑那些神经紧绷、复杂到极点、还“必须”用最繁琐方式完成的主题……其他方式都太无聊了。
另外，我花了很多时间拆解“Pony”——这让我有点意外。如果你把所有兽迷、动漫和色情内容都去掉，它几乎比Base XL模型还要基础，这对通过LoRA训练添加概念和风格很有利，但它更了解复杂的细节，比如构图、情绪、奇怪的角度等等……但这又是另一个故事了。
我不知道今年还能完成多少训练。也许中间会做些简单点的东西，但谁知道呢？AI发展太快了，可能一个月、甚至一周后就会有新玩意儿出现。
我用相同的种子和模型测试了之前生成的图像。变化在某些情况下很微妙，在其他情况下却极端剧烈 （现在我知道原因了：看公告）
也抱歉展示的图像变化不够多。有时候准备图片比训练LoRA还花时间，但这次影响不大。更多内容会自然跟进。
V1.0
我试图推动AI，看看它能否从几乎全黑、仅隐约有形状的训练图像中学习到什么。
在Photoshop中准备数据集几乎不可能，因为我几乎什么都看不到。当然每个人显示器设置不同，很难说这些图片是否真的那么黑，但它们确实让我眼睛很累。即使现在看生成的图像，也挺费劲的，虽然它们没训练图那么黑。
其实我很惊讶模型居然能学到点什么。暂时先放一放，等我想清楚怎么用它。它确实会做出一些奇怪的事。不知为何，把生成的图像放进ControlNet IP-Adapter反而能增强一切，并产生随机结果。
生成提示：
- 我也不知道……祝你好运。