这是由 Jasper 研究团队开发的 Flux.1-dev ControlNet，适用于低分辨率图像。

使用方法

此模型可直接与 diffusers 库一起使用：

import torch
from diffusers.utils import load_image
from diffusers import FluxControlNetModel
from diffusers.pipelines import FluxControlNetPipeline

# 加载管道
controlnet = FluxControlNetModel.from_pretrained(
  "jasperai/Flux.1-dev-Controlnet-Upscaler",
  torch_dtype=torch.bfloat16
)
pipe = FluxControlNetPipeline.from_pretrained(
  "black-forest-labs/FLUX.1-dev",
  controlnet=controlnet,
  torch_dtype=torch.bfloat16
)
pipe.to("cuda")

# 加载控制图像
control_image = load_image(
  "https://huggingface.co/jasperai/Flux.1-dev-Controlnet-Upscaler/resolve/main/examples/input.jpg"
)

w, h = control_image.size

# 放大4倍
control_image = control_image.resize((w * 4, h * 4))

image = pipe(
    prompt="", 
    control_image=control_image,
    controlnet_conditioning_scale=0.6,
    num_inference_steps=28, 
    guidance_scale=3.5,
    height=control_image.size[1],
    width=control_image.size[0]
).images[0]
image

训练

该模型通过一种合成的复杂数据退化方案进行训练，输入为一张“真实生活”图像，并通过结合多种退化方式（如图像加噪（高斯、泊松）、图像模糊和 JPEG 压缩）人工对其进行退化，其思路类似于 [1]。

[1] Wang, Xintao, 等. "Real-esrgan: 使用纯合成数据训练真实世界的盲超分辨率." IEEE/CVF 国际计算机视觉会议论文集. 2021.

许可证

本模型遵循 Flux.1-dev 模型许可证。