(HoJ) - High on Juice - Semi-realistic IllustriousXL

n_Arnon_Arno
421
4.1K
base modelsemi-realisticnsfwsfwcheckpointillustriousanime-like
v4.0cV3_DMD2v3.0v2.0v1.1v1.0

详情

下载文件

模型描述

V4！

当我正在处理另一个检查点并希望将其与HoJ整合时，我开始使用sd-mecha。这并非普通的模型合并工具，但功能非常强大。最有趣的是，我遇到了一个奇怪的警告：CLIP-L的某一层中，部分键包含非有限值（即NaN、-Inf或+Inf）。噢噢，这可不太妙。这意味着当提示词被解析时，某些条件可能被破坏，导致图像中出现奇怪的效果。

经过仔细调查，我发现这个错误几乎存在于我所有的检查点中 o_O

我做了一个快速修复：

from safetensors.torch import load_file, save_file

h = load_file("mine\\Hoj\\HoJ_IXL-V1.1.fp16.safetensors")
to_fix = [ k for k in h.keys() if not h[k].isfinite().all() ]

print(to_fix)
['conditioner.embedders.0.transformer.text_model.encoder.layers.11.mlp.fc1.weight', 'conditioner.embedders.0.transformer.text_model.encoder.layers.11.mlp.fc2.weight', 'conditioner.embedders.0.transformer.text_model.encoder.layers.11.self_attn.k_proj.weight', 'conditioner.embedders.0.transformer.text_model.encoder.layers.11.self_attn.out_proj.weight', 'conditioner.embedders.0.transformer.text_model.encoder.layers.11.self_attn.q_proj.weight', 'conditioner.embedders.0.transformer.text_model.encoder.layers.11.self_attn.v_proj.weight']

b = load_file("base\\illustriousXL_v01.safetensors")
test_base = [ k for k in b.keys() if not b[k].isfinite().all() ]

print(test_base)
[]

for k in to_fix:
  h[k] = b[k]

save_file(h, "hoj11.safetensors")

基于这个修复后的HoJ 1.1版本，我构建了HoJ 2.0、3.0和AnBan ShinV2的修复版，并最终推出了HoJ 4.0c（修复了CLIP的版本）。

V3

V3.0发布了！它基于V2.0，旨在消除Niji带来的不必要影响。（下方为更详细的说明）特别感谢@GZees！

V3 + DMD2

由于我打算尝试一下DMD2 LoRA，我已将其集成到HoJ V3中。这个版本非常实验性，如果想正常使用负向提示词，请优先选择V3.0。否则，对于此版本，请使用8步、Euler A和CFG 1，以实现极快的生成 😁

简短故事

HoJ 是一个专注于我个人审美偏好的检查点：高对比度、色彩鲜艳、半写实的动漫风格图像。

推荐使用方式：

  • 采样器/调度器：

    • DPM++ 2M SDE Heun & SGM Uniform （我用于展示所用的组合）

    • Euler A & “automatic”、“SGM Uniform” 或 “Beta” 任选其一，用于趣味尝试

    • DPM++ 2M & Karras 也可用，但并非最佳

  • 步数：30至40步

  • CFG：6 （这是我的偏好，欢迎自行实验）

  • VAE：标准SDXL VAE已内置，无需额外彩色VAE

  • 放大器：4xNMKDSuperscale，20步，去噪最大值0.3

  • Adetailer：去噪最大值0.15，步数相同，VAE相同（或不使用）

  • 正向提示词：无需添加质量标签（如“杰作”等）

  • 负向提示词：IllusN3g

  • 艺术家标签：不建议使用，它们无法正确响应

  • Clip Skip：2 （但1也可以正常工作）

  • 🚩 NSFW警告：请务必在提示中加入模型年龄或相关安全措施，否则可能生成年龄过小的角色。这是我注意到的问题，将在未来版本中修复。

权限：欢迎将此模型用于合并，只需注明来源即可 😉

请勿将此模型上传至其他网站，

我会亲自负责在TA和SA上进行上传。

@GZees 好意地将HoJ添加到了https://socialdiff.net，如果你也想试用，欢迎访问 🥰

为遵守源资源协议，生成图片的商业用途被禁止。

V3.0更新“长篇”故事

正如这篇文章中提到的，我开始感到被Niji风格在自己作品中的普遍存在所压倒。我对这种风格本身并无反感，但我不希望它默认内嵌在模型中。因此，我开发了这个LoRA。

此次更新中，HoJ V2.0终于得到了“去除Niji”的处理。

在征得@GZees授权后，我借助iLustMix的出色改进，平滑了HoJ中部分过度夸张的元素，同时保留了其独特风格：

  • 我从HoJ V2.0中减去iLustMix V2.0，提取了一个LoRA

  • 将其应用于iLustMix V7.0

  • 然后将结果与Cosine合并至HoJ V2.0（所有操作均叠加了“Un-Niji-fy”）

  • 接着，为了恢复部分原始风格，我以较小比例引入了HoJ V1.0，仅作用于BASE/CLIP和MID模块

  • 最后，为了增添一点“风味”，我以0.1的强度将Add Micro Details V4合并进最终结果（根据模型说明，此合并是允许的）

这使我得以在不被修正检查点过度影响的情况下，打造出HoJ V3.0。

（著名的）长篇故事（V1.0）

HoJ V1.0基于我自己的Illustrious合并检查点（/model/875403?modelVersionId=1308387），并巧妙融合了JunkJuice Psychonex（一个Pony模型）的元素，同时保留了Illustrious的优质特性。

为保持透明，我所使用的资源包括：

随后，我根据这篇文章的说明，对一批“最佳图像”的子集进行了数轮手动微调。

将微调后的模型仔细合并回原始检查点以修正其默认表现。为此，使用分块合并技术，我创建了两个版本（各模块相似性见此处）：

  • 原始 + 微调，仅合并外观相似的模块（IN/OUT对02,03,05,06 + MID，强度1.0）

  • 原始 + 微调，仅合并外观不同的模块（IN/OUT对00,01,04,07,08，强度1.0，其中01对强度0.25以避免过度饱和）

最后，使用Supermerger和Cosine计算模式，将这两个版本混合，生成最终检查点（相似部分0.25，不同部分CosineA）。

感谢阅读！💖

编辑：用于微调HoJ的数据集可在此获取：https://huggingface.co/datasets/n-Arno/juicy

此模型生成的图像

未找到图像。