Flaming coiling serpent - Diablo IV Inferno spell [Flux] [Concept]
详情
下载文件
关于此版本
模型描述
此LoRA灵感来源于与即将到来的蛇年相关的比赛。
（有关比赛的更多详情，请参见：“征稿启事：蛇年资源！”）
灵感与核心理念
我受到《暗黑破坏神4》游戏中“地狱之火”法术所呈现的火焰蛇形象启发，并基于网络上公开可获取的图片创建了这一概念。由于该主题与农历新年中的蛇相关，我决定以此为首个创作方向。
数据集
我的数据集基于从谷歌和必应图片搜索等公开来源下载的6张原始图像。首先，所有图像通过水平翻转进行增强；接着，我采用了一种更先进的技术，通过VAE进行潜在图像编码，并结合Canny ControlNet保持正确的形态，以生成色彩增强和图像变体。
关于数据集增强的更多细节
为此，我使用了ControlNet（Canny）——配合Ksampler和SD 1.5 Canny ControlNet（v.1.1）。使用的检查点为majicMIX realistic 麦橘写实 (v.7)，该检查点接收来自源图像VAE编码的潜在输入，以实现色彩增强。这使我能够生成更多色彩变化，将数据集从6张扩展至16张。
用于创建潜在色彩增强的工作流使用了高效的Ksampler，参数如下：
- 采样器：heun
- 调度器：Karras
- 步数：10
- CFG：1.0
- ControlNet强度：1.2
我用于通过VAE编码传递风格的图像，与ControlNet中使用的图像并不相同（使用相同图像将无效）。
我采用LoRA标签工作流，结合Florence 2标签器，将图像调整为512×512（宽×高）和256×256尺寸。最终数据集包含16×2=32张图像，涵盖翻转与色彩增强。
训练工作流
接下来是训练工作流。我使用了Kijai官方工作流（GitHub - kijai/ComfyUI-FluxTrainer），基于Kohya脚本。我使用以下设置训练LoRA：64张图像（包含分桶），训练步数为1000。我发现最佳效果出现在200步和800步，其他步骤效果较弱。根据我的观察，这两个数值分别对应约3轮和15轮训练。
关于所用检查点：我使用了Atomix FLUX Unet (v.1.0)进行训练，因为这是我在Unet格式和FP8精度下唯一拥有的写实风格检查点，其他检查点可能不适用于写实风格训练。训练参数方面，我使用了fp8训练格式，关闭卸载（no offloading）和b。更多细节请参见训练工作流。
我在多个时间点生成了LoRA：200、400、500、600、800、1000步。其中200步和800步的效果最理想，成功捕捉到了我想要的风格。
LoRA部署与测试
关于模型部署，我使用与训练时相同的Unet和文本编码器进行测试（仍在持续测试以排查问题）：
- 来自Hugging Face Flux-dev仓库的 clip-L：black-forest-labs/FLUX.1-dev at main
- T5xxl fp8编码器：FLUX.1 T5 Text Encoder
截至目前，最佳效果使用以下参数：
- LoRA 模型权重：1.0
- LoRA CLIP权重：1.0
- 步数：15
- CFG：1.5
- 采样器：Euler
- 调度器：simple
由于该LoRA是基于初始训练图像的标签训练的，请勿使用触发词，而是直接使用示例提示中的标签部分：
"燃烧盘绕的蛇，火焰，黑暗幻想，暗黑破坏神4，地狱法术，魔法，发光，巫师，鳞片，巨蛇，中性背景，暗色背景，一幅从鸟瞰视角拍摄的数字插画，描绘黑暗岩石地貌中央的一座火焰状蛇形结构。该结构表面纹理细腻，形似蛇皮，周围环绕着明亮的橙色辉光。图像中心，一个小型人形身影似乎是一名战士，肌肉健壮，神情坚定，站立于结构顶端，蛇身环绕其周，营造出动感与能量感。背景融合明暗色调，点缀绿意与废墟，强化了场景的戏剧性与激烈氛围。"
致谢
感谢提及的模型和ComfyUI节点的开发者，为提示词和工作流提供了灵感。所有所用模型与工作流的版权归属其原作者（AlexLai, Merjic, kijai）。也感谢未在此列出但对本作品至关重要的其他优秀节点、模型和工具的作者。
内容免责声明
由于所用检查点仍处于早期测试阶段，若配合其他检查点（如去蒸馏版）使用并输入特定提示，可能生成不适合所有受众的内容。本LoRA不描绘任何真实人物，仅用于测试目的。
训练数据公平使用声明
训练数据集（64张图像）源自6张从谷歌和必应图片搜索等公开平台获取的图像。生成结果并非旨在复制或模仿《暗黑破坏神4》游戏画面或内容，仅用于艺术创作，如以《暗黑破坏神4》为主题之同人艺术和插画。生成图像不代表真实游戏画面，也不会对游戏本身产生任何实际印象。
为使模型输出与从在线图像平台（如必应、谷歌）下载的原始图像区别开来，我们进行了包括色彩增强、ControlNet、蒸馏、过滤和重缩放在内的转化性处理。本模型仅用于研究目的，并具有非商业许可，允许分发、创建或重构内容。所有原始图像及《暗黑破坏神4》游戏画面的版权归属原图像作者及《暗黑破坏神4》游戏开发商暴雪娱乐公司（Blizzard Inc.）。
许可证
本LoRA继承自训练工作流中使用的Atomix Flux的许可证：
FLUX.1 [dev] 模型由Black Forest Labs, Inc.依据FLUX.1 [dev] 非商业许可证授权。版权所有 © Black Forest Labs, Inc.
在任何情况下，Black Forest Labs, Inc. 均不对因使用本模型而引起的任何索赔、损害或其它责任负责，无论该责任源于合同、侵权行为或其他原因。