Render/Hue/HSX ControlNet

iszoticiszotic
61
902
base modelcontrolnetcolor
RenderControlNet_v0HSXControlNet_v0HueControlNet_v0

详情

下载文件

模型描述

这是一个概念验证，展示如何用简化版本的图像并用不同风格或阴影进行“重新渲染”。有时会导致Unet中出现Nan，重置UI可修复此问题，希望未来能获得更好的支持。

1）渲染控制网
它使用Kmeans Posterized图像或平色来渲染图像或更改风格。
预处理器：

  • Kmeans Posterize，使用G'Mic Posterize滤镜，设置为9种颜色

  • 交换通道RGB到BGR（感谢OpenCV，😒），在GIMP中可通过颜色 > 组件 > 通道混合器轻松调整

  • 平衡或控制网更重要，适用于权重0.6-1.0，txt2img

2）HSX控制网
它使用Posterized图像或平色来渲染图像或更改风格。
预处理器：

  • 使用HSX Posterize-index滤镜（G'Mic），设置为12个色相区间、4（或3）个饱和度区间、4（或3）个亮度区间，采用HSV颜色空间

  • 现在应用半径为3的中值模糊

  • 在Auto1111中使用“我的提示更重要”，权重设为1.0，txt2img

3）色相控制网
它使用Kmeans Posterized图像或平色来控制图像的色相和饱和度，专为3D渲染通道或绘图中的平色设计，因为它缺乏形状概念，需由其他ControlNet提供。示例中，线稿通过MSLD以1.0反相，渲染控制网权重为0.6，色相控制网权重为0.4，使用txt2img。
预处理器：

  • Kmeans Posterize，使用G'Mic Posterize滤镜，设置为9种颜色

  • 将值设为127，在图像上方新建图层并填充50%灰色，然后将混合模式设为HSV值

  • 平衡或控制网更重要，适用于权重0.4-0.6

训练：
1）使用一个包含15万张图像的自定义数据集对模型进行微调，移除提示中的所有颜色词，如红色、蓝色、金色、洋红色等
2）使用diffusers仓库，利用各网络所用的预处理器训练一个空白ControlNet
https://huggingface.co/blog/controlnet

此模型生成的图像

未找到图像。