EnvyBetterHands LoCon

详情

下载文件

模型描述

该模型为 LoCon 类型。您必须安装 Lycoris 扩展才能加载此模型。

我正在使用 Lora Block Weight。我认为您也可以使用 Additional NetworksSD Webui Lycoris

更新 2023年4月27日:我已遇到训练瓶颈,目前正在向数据集中添加更多图片,包括一些更复杂的场景,比如纠缠的手指。我可能需要进一步降低学习率,因此之后的训练速度可能会变慢。我会持续更新进展。

beta 2 的提示建议

  • 这是在原始 Stable Diffusion 1.5 基础上的全新训练。我根据一位爱好者建议进行了此训练,效果出乎意料地与多种模型兼容。据我观察,它几乎不会影响您模型的整体风格,仅在手部(偶尔会影响手臂)有显著改善,其余部分基本保持不变。

  • 它在强度为 1 时效果最好,尽管提高强度至 1.5 或 2 等水平在某些图像上可能有所帮助,但会损害其他图像的效果。无需调整 CFG 值,因为在此强度下不会导致过曝。

  • 可以自由与其他 LoRA 混用。

  • 我得到最佳效果的提示方法是:在正向提示中加入“nice hands, perfect hands”(增加权重反而会降低效果),在负向提示中加入“(extra fingers, deformed hands, polydactyl:1.5)”。此方法在 EnvyMix v1(及可能 RevAnimated)上表现最佳,其他模型效果可能不同。

  • “bad hands” 负向嵌入似乎会恶化效果,尽管我没有做过大量测试。

  • 和以往一样,它不会带来奇迹,但在大量样本下我确实发现整体生成效果平均有所提升。希望在再多训练几个夜晚后,效果能进一步改善。

alpha 3 和 beta 1 的提示建议

  • 请注意,以下建议针对 RevAnimated 1.2。其他模型效果可能不同。

  • 它会有些过拟合,但若要达到最佳效果,必须将强度设为 1.0。可通过将 CFG 值调低至 5 或 6 左右来缓解。我通常启用动态阈值扩展并设为“模仿 CFG 5”,然后将 CFG 设为 9 或 10,效果就不错。

  • 我尝试与其他 LoRA 混用,结果出现了一些奇怪图像,因此同样建议谨慎使用。目前我仅专注于确保在简单使用场景下稳定工作。

  • 奇怪的是,我觉得在中性姿势的手部表现略有退步,但在处理复杂交互(例如握物)时明显更好——这也是为什么示例图中会有大量铁匠和图书管理员的图片。

  • 保持提示简洁,效果通常更好。

  • 在 RevAnimated 上,大约每 8 张图中能生成 1 到 2 张可用图像,其余图像虽然接近,但可能通过修复(inpainting)改善。

alpha 2 的提示建议

  • 目前模型正在变强,最佳强度约为 1。若像旧版本一样设定为 1.3,图像效果会变差。

  • 我的负向提示仍然是“(extra fingers, deformed hands:1.15), (worst quality, low quality, poor quality, bad quality:1.35)”。

  • 我发现只需在主提示中加入“nice hands”就已足够。

alpha 1 的提示建议

  • 您的提示中应包含以下词汇:“beautiful hands, perfect hands, fingernails”。我发现在提示中间位置加入这些词且不加权重时效果最好。

  • alpha1 LoCon 在强度约 1.3 时效果最佳(目前我在 RevAnimated 1.1 上测试,其他模型效果可能不同)。

  • 不要使用负向嵌入来改善手部。当我从负向提示中移除 badhandv4 后,效果明显改善。建议尝试完全不加任何负向嵌入。我已有一段时间未使用负向嵌入。

  • 我的负向提示为:“(extra fingers, deformed hands:1.15), (worst quality, low quality, poor quality, bad quality:1.35)”,这是通过多次实验,逐项调整强度和词项后得出的。效果应已相当不错。

  • 这让我对未来在 SD 1.5 上解决手部生成问题充满希望。即使使用了优化提示,我通常仍无法获得完美效果,但已经接近理想状态。当我不再需要在正负提示中添加任何内容就能持续生成结构良好手部时,我才会认为任务完成。

现在回到正常的 README 内容……

我正在测试一个假设:或许 MidJourney 的手部表现之所以大幅提升,是因为他们花时间专门训练了一个高质量手部图片数据集,而实际上几乎没人做过类似尝试。这个 LoRA 目前尚未达到 MidJourney 水平,但我已经持续训练数个夜晚,并在数据集不足处不断补充,质量呈稳步提升趋势。因此,我决定现在发布,以便大家尽早使用。这仍属于早期 alpha 版本——我将持续更新,直至它不再进步为止。

示例图像为精选结果。请不要期望该模型能提升您所有手部生成的品质。它甚至可能让部分图像变得更差,因此请在大量图像上测试其使用价值,而非仅凭单一例子判断。如果对您有效,就像对我一样,大多数结果应达到相同或更高品质(即便个别图像仍会以其他方式出错)。

此模型生成的图像

未找到图像。