Tutorial: konyconi-style LoRA - konyconi
详情
下载文件
模型描述
本教程的新版本请点击这里： https://civitai.com/articles/771/tutorial-konyconi-style-lora-update
经过多次尝试与调整，我发现了一种高效创建LoRA的方法，能够将特定风格或特征应用到各种物品上。我的LoRA在civitai.com上广受好评，令人惊喜的是，整个过程非常简单且迅速，几乎感觉像是作弊。虽然我很享受这份认可，但我认为现在是时候谦逊地无偿分享我的方法了。
本教程展示了我创建大多数LoRA时遵循的典型流程。
简要版（TLDR）： 我使用生成的图像；将简化的插画纳入训练数据；采用基础描述方式：[触发词] [概念]；并使用一个简单的Python脚本自动生成标注文件。
步骤1： 想出一个创意（风格/特征），并确认你的首选检查点（checkpoint）在Stable Diffusion中无法实现这一效果。例如，尝试“波西米亚风格”（boho-style）。
亲爱的 revAnimated，请为我生成一个“波西米亚风坦克”：
好的，这个“波西米亚风格”看起来是个不错的尝试方向。
步骤2： 查看其他图像生成器的表现。
亲爱的 Bing，请为我生成一个“波西米亚风坦克”：
提示词：波西米亚风格的战争坦克插画
亲爱的 DALEE-2，请为我生成一个“波西米亚风坦克”：
提示词：波西米亚风格的坦克，插画
我们能看出这些图像大致捕捉到了波西米亚风格的特征。因此……
步骤3： 使用能理解“波西米亚风格”的图像生成器生成训练集。
我的一些LoRA在训练集中完全不使用生成图像，而另一些则会混合部分生成图像。值得注意的是，我最近的LoRA全部仅使用生成图片。
例如：生成“波西米亚坦克”、“波西米亚电脑”、“波西米亚村庄”、“波西米亚飞艇”、“波西米亚潜艇”等。每个概念生成1-6张图片，总计50-100张。
当你生成像“波西米亚坦克”这样不常见的概念时，可能会遇到步骤2中展示的图像。请不要担心将这些图像加入训练数据；它们通常比（半）写实图像效果更好。例如，我的“BohoAI”训练数据中仅包含以下飞艇示例：
然而，最终训练出的模型生成的效果是这样的：
同时，也加入一些（半）写实图像。对于“波西米亚风客厅”这类概念，生成写实图像通常并不困难。
步骤4： 清理图像，去除水印、生成作者签名及其他类似元素。同时清除不想要的瑕疵，例如坦克塔上的多余炮管。
清理可以相当粗略：只需用画面的其他部分覆盖掉不需要的部分即可。
不要缩放图片尺寸。
步骤5： 图像标注。
使用极其基础的标注，例如：“BohoAI飞艇”。
为加快流程，可采用如下技巧：将所有图像按概念保存在对应名称的文件夹中。比如所有飞艇图像都放在名为“dirigible”的文件夹里。
所有图像整理完成后，运行我附带文件中的Python脚本。它会递归遍历各子文件夹，对每个 .jpg 文件生成一个对应的 .txt 文件，内容格式为：给定的触发词 + 文件夹名称。
步骤6： 准备就绪，开始训练LoRA。
我认为使用你平常的训练配置基本不会出错。
经过一些实验后发现，rank=128 和 alpha=128 才能获得理想效果。我稍后会作更深入研究。
我分享的是适合 kohya ss 的配置文件，但请保留一点怀疑态度。我经常随意更改并进行试验。BohoAI 就是使用这个配置训练的，共进行了10轮重复训练。
此LoRA成功封装了“波西米亚风格”，并能巧妙地将其应用到未训练过的概念上。
请查看 dajusha 的评测图（我的数据集中没有任何动物图像）：https://civitai.com/images/616301?period=Week&periodMode=published&sort=Most+Reactions&view=categories&modelVersionId=56427&modelId=51966&postId=172873
我已公开我的秘诀，并恳请一点帮助：如果你使用此方法训练并发布自己的LoRA，请务必注明引用本教程。
众多创作者可以借鉴并改进这一方法，最终提升civitai.com内容的整体质量。通过分享我的“金蛋”，我诚恳请求你通过以下链接支持我一杯咖啡：