OpenXL Version 3.0 Cinematic Still Aesthetic Improvement

详情

下载文件

模型描述

==========================================

提示词建议

电影剧照生成

正向提示词:

上半身/全身写实照片风格的

反向提示词:

动漫、卡通、图形、文字、绘画、蜡笔、铅笔、抽象、故障、畸形、变异、丑陋、毁容、噪点背景、最差画质、最差解剖结构、扭曲、低画质

CFG:4

采样器:dpm++ 3m sde

步数:30

文本生成

正向提示词:

模糊前景带文字 "{text}" {主体内容}

反向提示词:

最差画质、最差解剖结构、扭曲、低画质

CFG:4

采样器:dpm++ 3m sde

步数:30

==========================================

20240515 版本 3.0

使用电影剧照图像训练,人工精选美观图像。

改进“中文”、“传统服饰”等元素。

本版本终于实现了我所期望的光影与阴影效果。

因此版本跃升至 3.0。

由于此次训练,以下方面有所削弱:

文本生成能力

手部

眼睛

未来版本可能通过新修复方案解决上述问题。

20240510 版本 2.6

本版本使用两阶段工作流生成的图像进行训练:pixart-sigma2openxl2.5

主要改进了阴影与光线表现

文本生成能力保持与之前同等水平

修复了版本 2.5 训练导致的“僵硬站立姿势”问题

20240504 版本 2.5

新增“创意摄影”作为风格标签。

后续版本将继续优化此标签。

20240502 版本 2.4b

小幅提升文本准确性。多数情况下优于 2.4a,但少数情况下 2.4a 仍表现更好。

调整了写实生成效果。

请参阅 2.4a 的文本生成建议。

2.4c 可能是基于 2.4b 的 DPO 微调版本。

20240428 版本 2.4a

专注于文本生成,推荐使用以下文本生成提示词:

正向提示词:

模糊前景带文字 "{text}" {主体内容}

反向提示词:

最差画质、最差解剖结构、扭曲

CFG:3.5

采样器:dpm++ 3m sde

使用 “align your steps”:10

不使用 “align your steps”:30

提醒:版本 2.4a 是 openxl2.4 的 Alpha 版本,未来可能基于 2.4 产生多个版本。

20240425 版本 2.3e

改进阴影与光线

提升面部细节

20240423 版本 2.3c

恢复至 2.2 版本的 CLIP,因其表现更优

20240422 版本 2.3

使用版本 2.2 的 PAG 生成图像进行训练

改进结构、解剖结构、肤色等

可能轻微影响文本生成能力

20240417 版本 2.2

主要改进手指表现

轻微优化阴影效果

20240415 版本 2.1

调整肤色与阴影

轻微改进解剖结构

20240412 版本 2.0

基于 SDXL 基础模型完全重新训练,多轮迭代

数据集:

少量动漫图像、时尚图像、筛选后的 PickScore 数据集、4K 视频截图、Cosplay 照片、NVIDIA InTheWild 数据集等

触发词:

动漫艺术、时尚摄影、Cosplay 照片、原片、棉花娃娃、女性、男性等

为获得写实图像,请在提示词开头使用“原片”(raw photo),避免使用 Unity、CG 等词汇

为获得可爱风格图像,可尝试加入“棉花娃娃”以塑造其外形

生成女性时,请使用“女性”而非“1girl”,使用“1girl”通常会生成小女孩

合并列表:

SDXL DPO LoRA

OpenXL v1.4

-- Kohaku alpha 和 beta

未合并:Animagine v3 和 Pony Diffusion

请注意:中文女性、中国传统服饰等涉及中国种族的标签,会引发 SDXL 的异常偏见,未来版本将改进,但目前请勿使用这些标签生成写实图像。

20240323 版本 2.0 beta

20231229 版本 1.4 人类偏好优化

2024 年前最终版本 1.4 已完成。

使用 PickaPicv2 数据集中的 4000 条筛选数据进行训练。

目标:提升审美、写实度、瞳孔、光影、构图等。

相比旧版本有全面改进。

如需使用 Turbo 版本,建议使用独立的 Turbo LoRA 或 LCM LoRA,其效率优于本模型合并的 LoRA。

感谢您的评论或图片分享!

20231201 版本 1.3 Turbo 合并与女性面部调整

合并 SDXL Turbo,实现 10 步快速高质量生成。

优化女性面部细节:阴影、嘴唇、轮廓等

OpenXL v1.3 Turbo 推荐生成配置:

步数:10

CFG:1~5,建议设为 2

采样器:dpmpp_3m_sde

调度器:sgm_uniform

完整版输出与 Turbo 版略有不同。

建议使用 Turbo 版进行快速生成,完整版用于追求更高画质。

20231128 版本 1.2 写实阴影与眼睛生成优化版

主要优化写实阴影效果,提升真实眼睛生成能力,减少混合动漫模型的影响。

20231127 版本 1.1 手部与动漫风格优化版

版本 1.1 是首个融合动漫模型的版本,旨在提升动漫风格表现。

所有合并的检查点均列于描述末尾。

除动漫模型外,另一重大改进是手部生成能力。

使用少量手部数据集,并结合 LLM 进行标注,进行精细调优与多检查点测试。

融合了基于 LECO 技术(来自近期论文)的 LoRA。

测试结果:

在 100 次挥手手部生成测试中,70% 可准确生成五根手指。

测试提示词:

正向:

优秀手部,拍摄一位美丽女性向男友挥手的照片

反向:

池塘手绘、未完成手绘、草图、抽象、动漫

开发路线图:

已完成:

  • 手部生成 v1.1

  • 动漫风格 v1.1

  • 写实阴影 v1.2

  • 眼睛生成 v1.2

  • SDXL Turbo 合并 v1.3

  • 女性面部调整 v1.3

后续开发:

  • 面部

  • 姿势

  • 表情

  • 年龄组

  • 特定动漫角色

  • Cosplay 服装

  • 艺术风格

===========================================================

训练方法:

最新版本采用多种训练方法,包括:

  • 来自 Meta Emu 的质量训练

  • 来自 OpenAI DALL·E 3 的描述性字幕

  • 直接微调

  • 等等

训练数据集未包含任何 Nijijourney 图像,我不太喜欢 Niji 风格。

本检查点旨在作为 SDXL 的改进版本,可支持多种风格。

用户指南:

宽高比:

请使用 SDXL 标准宽高比,避免使用 512512、512768 等 SD1.5 的尺寸生成图像。

提示词风格:

[风格词] [描述] [辅助词]

推荐使用上述格式以生成特定风格图像。

因为 SDXL 能够生成多种风格,应在主体前明确指定风格,以控制图像风格。

若仍不足以生成所需风格,请使用反向提示词明确排除你不想要的风格。

例如:

正向:

写实世界中,动漫版皮卡丘打篮球,桌上有一台合上的笔记本电脑,背景细节丰富

反向:

白色背景、3D 渲染

不建议使用 SD1.5 中常见的大量反向提示词组合。

建议尝试有无反向提示词的差异,观察效果。

无分类器引导(CFG):

推荐使用 2.5~5.5 的 CFG 值。

采样器:

推荐使用 3m sde GPU。

调度器:

推荐使用 karras。

步数:

25~40

请针对不同提示词尝试多种参数组合,并在喜欢时分享图片🖼️与反馈📓!

感谢您的支持❤️。

联系方式:

[email protected]

微信:

fkdeai

===========================================================

合并列表:

20231127 版本 1.1

Kohaku-XL beta 6.9

/model/162577?modelVersionId=203416

Kohaku-XL alpha nyan

/model/136389/kohaku-xl-alpha

SDXL Cross Style 手部修复 LoRA

/model/211577/sdxl-cross-style-hand-fixing-lora?modelVersionId=238349

此模型生成的图像

未找到图像。