FusionXL SDXL 模型 + Diffusers

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("FFusion/FFusionXL-09-SDXL", torch_dtype=torch.float16, use_safetensors=True, variant="fp16")

模型

基于 SDXL 的 FFXL 是一个两阶段的潜在扩散管道：首先，我们使用基础模型生成所需输出尺寸的潜在向量。在第二步中，我们使用一个专门的高分辨率模型，并对第一步生成的潜在向量应用一种称为 SDEdit 的技术（https://arxiv.org/abs/2108.01073，也称为 "img2img"），并使用相同的提示词。

模型描述

• 训练方： FFusion AI

• 模型类型： 基于扩散的文生图生成模型

• 许可证： FFXL 研究许可证

• 模型描述： 这是一个基于 SDXL 训练的模型，可用于根据文本提示生成和修改图像。它是一种潜在扩散模型，使用了两个固定的预训练文本编码器（OpenCLIP-ViT/G 和 CLIP-ViT/L）。

• 更多信息资源： SDXL 论文（arXiv）。

模型来源

• 演示：

  

🧨 Diffusers

请确保将 diffusers 升级至 >= 0.18.0：

pip install diffusers --upgrade

此外，请安装 transformers、safetensors、accelerate 以及隐形水印：

pip install invisible_watermark transformers accelerate safetensors

然后您可以按如下方式使用模型：

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("FFusion/FFusionXL-09-SDXL", torch_dtype=torch.float16, use_safetensors=True, variant="fp16")
pipe.to("cuda")

# 如果使用 torch < 2.0
# pipe.enable_xformers_memory_efficient_attention()

prompt = "An astronaut riding a green horse"

images = pipe(prompt=prompt).images[0]

当使用 torch >= 2.0 时，可通过 torch.compile 提升 20-30% 的推理速度。只需在运行管道前将 unet 包装在 torch.compile 中即可：

pipe.unet = torch.compile(pipe.unet, mode="reduce-overhead", fullgraph=True)

若您受 GPU VRAM 限制，可调用 pipe.enable_model_cpu_offload() 替代 .to("cuda") 以启用 CPU 卸载：

- pipe.to("cuda")
+ pipe.enable_model_cpu_offload()

用途

直接使用

本模型仅用于研究目的。可能的研究领域和任务包括：

• 艺术作品生成及在设计和其他艺术流程中的应用。

• 教育或创意工具中的应用。

• 生成模型的研究。

• 安全部署可能生成有害内容的模型。

• 探索和理解生成模型的局限性与偏见。

以下用途被排除在外。

超出范围的用途

本模型并未经过训练以真实或准确地呈现人物或事件，因此利用该模型生成此类内容超出了其能力范围。

局限性与偏见

局限性

• 模型无法达到完美的写实效果。

• 模型无法渲染可读的文本。

• 模型在涉及组合性的较复杂任务中表现不佳，例如生成“一个红色立方体位于蓝色球体上方”的图像。

• 人脸及人物整体可能无法正确生成。

• 模型的自编码部分是有损的。

偏见

尽管图像生成模型的能力令人印象深刻，但它们也可能强化或加剧社会偏见。

署名：

"SDXL 0.9 根据 SDXL 研究许可证授权，版权所有 © Stability AI Ltd. 保留所有权利。"

许可证

SDXL 0.9 研究许可证 FFXL 0.9 研究许可证

示例