[Kolors] OpenKolors v2.4 Multiple style general kolors model

详情

模型描述

V2.4 更新

OpenKolors 是一个多风格通用大模型,以快手的可图模型为基底进行微调,训练集约10万张图片,采用多轮多分辨率微调,并在训练过程中使用 BLIP 奖励机制进行图文匹配训练,以更准确地遵循提示词。

新增更多图片训练,运用 BLIP 反馈训练优化图文配对,进一步提升提示词遵循能力。

支持多分辨率训练,生成分辨率范围更广,从 512×512 到 1344×1344。

OpenKolors 是一个多风格通用模型,基于 Kwai/kolors 模型进行微调。

总训练集约 10 万张图片。

采用多分辨率训练,在训练过程中使用 BLIP 奖励机制提升提示词遵循能力。

在 V2.4 版本中,增加了更多样化的训练数据和高质量图片,支持最低 512 到最高 1344 的分辨率。

V2.2 更新

使用中文短文本数据集进行训练,以提升文本理解能力。

多次合并微调,优化图像外观与审美表现。

默认输出可能简化图像细节,建议在负面提示中加入“矢量艺术”或先描述细节再提及主体对象。

通过风格、自然语言和标签进行训练,提升模型综合能力。

优化了动漫美学表现。

提升了提示词遵循能力。

V2.0 版本总训练图片约 10 万张,包含多轮训练以提升不同方面的能力。

中文短文本生成示例提示:

图片左侧有两行白色中文字,第一行写着“万圣”,第二行写着“快乐”。图片右侧有一个戴着巫师帽的南瓜头,眼睛发出黄色光芒。

V2.1 更新

包含多个动漫角色,如原神、Re:Zero、火影忍者等。

提升了写实美学表现。

支持矢量艺术风格。

改善了人体解剖结构表现(?)。

注意:请将权重文件放置于 comfyui/models/checkpoints 目录下,

使用最新版的 https://github.com/MinusZoneAI/ComfyUI-Kolors-MZ

通过 MinusZone - KolorsCheckpointLoaderSimple 加载模型。

该模型与 OpenKolors-unet 完全一致,仅加载方式改为传统的 SD 格式。

更新说明:

图真模型的后续版本将统一更新至 OpenKolors 上。

相较专注于写实的图真模型,OpenKolors 更为综合,提供更广泛的泛化能力,涵盖动漫与写实两种风格。

对于写实风格生成,建议将“真实照片, raw photo”等相关标签前置,并使用自然语言描述画面,以更好地触发相关权重。

对于动漫风格生成,建议将“anime artwork, niji style”等相关标签前置,并可结合自然语言 + 标签形式触发相应权重。

使用方法:

下载模型并放入 comfyui/models/checkpoints 文件夹中。

使用 MZ 的 ComfyUI 插件加载:https://github.com/MinusZoneAI/ComfyUI-Kolors-MZ

重要提示!

请将权重文件放入 comfyui/models/checkpoints 目录下。

请更新 MZ 插件至最新版本:https://github.com/MinusZoneAI/ComfyUI-Kolors-MZ

使用 MinusZone - KolorsCheckpointLoaderSimple 加载权重。

此模型与 OpenKolors-unet 完全一致,仅加载方式改为更传统的格式。

后续的 RealisticKolors 模型,其 Alpha 版本专注于写实风格,

但后续更新将整合为更通用的模型,同时覆盖动漫与写实风格的优化。

写实生成建议:将“real photo”或类似标签、自然语言描述置于提示词开头,以获得更佳效果。

动漫生成建议:将“anime artwork”或通用风格标签置于提示词开头。

使用方法:

下载模型并放入 checkpoints 文件夹。

使用 https://github.com/MinusZoneAI/ComfyUI-Kolors-MZ 的 ComfyUI 插件加载模型。

此模型生成的图像

未找到图像。