FusionXL SDXL 모델 + Diffusers

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("FFusion/FFusionXL-09-SDXL", torch_dtype=torch.float16, use_safetensors=True, variant="fp16")

모델

SDXL 기반의 FFXL은 잠재 공간 확산을 위한 두 단계 파이프라인으로 구성됩니다. 먼저, 원하는 출력 크기의 잠재 변수를 생성하기 위해 베이스 모델을 사용합니다. 두 번째 단계에서는 고해상도 전용 모델을 사용하여 첫 번째 단계에서 생성된 잠재 변수에 동일한 프롬프트를 이용해 SDEdit 기법(https://arxiv.org/abs/2108.01073, "img2img"로도 알려짐)을 적용합니다.

모델 설명

• 학습자: FFusion AI

• 모델 유형: 확산 기반 텍스트-이미지 생성 모델

• 라이선스: FFXL 연구 라이선스

• 모델 설명: 이는 텍스트 프롬프트를 기반으로 이미지를 생성하고 수정할 수 있는 SDXL 기반 학습 모델입니다. 잠재 확산 모델로, 두 개의 고정된 사전 학습된 텍스트 인코더(OpenCLIP-ViT/G 및 CLIP-ViT/L)를 사용합니다.

• 추가 정보 리소스: arXiv의 SDXL 논문.

모델 출처

• 데모:

  

🧨 Diffusers

diffusers를 최소 0.18.0 이상으로 업그레이드하세요:

pip install diffusers --upgrade

또한 transformers, safetensors, accelerate 및 보이지 않는 워터마크도 설치하세요:

pip install invisible_watermark transformers accelerate safetensors

이후 모델은 다음과 같이 사용할 수 있습니다:

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("FFusion/FFusionXL-09-SDXL", torch_dtype=torch.float16, use_safetensors=True, variant="fp16")
pipe.to("cuda")

# torch < 2.0을 사용하는 경우
# pipe.enable_xformers_memory_efficient_attention()

prompt = "An astronaut riding a green horse"

images = pipe(prompt=prompt).images[0]

torch >= 2.0을 사용하는 경우, torch.compile을 사용하여 추론 속도를 20-30% 향상시킬 수 있습니다. 파이프라인을 실행하기 전에 unet을 torch.compile으로 감싸세요:

pipe.unet = torch.compile(pipe.unet, mode="reduce-overhead", fullgraph=True)

GPU VRAM이 제한적인 경우 .to("cuda") 대신 pipe.enable_model_cpu_offload를 호출하여 CPU 오프로딩을 활성화할 수 있습니다:

- pipe.to("cuda")
+ pipe.enable_model_cpu_offload()

사용 사례

직접 사용

이 모델은 연구 목적으로만 사용됩니다. 가능한 연구 분야 및 작업은 다음과 같습니다:

• 예술 작품 생성 및 디자인 및 기타 예술적 프로세스에서의 사용.

• 교육용 또는 창의적 도구에의 적용.

• 생성형 모델에 대한 연구.

• 해로운 콘텐츠를 생성할 가능성이 있는 모델의 안전한 배포.

• 생성형 모델의 한계 및 편향 탐색 및 이해.

제외되는 사용 사례는 아래에 설명되어 있습니다.

범위 외 사용

이 모델은 사람이나 사건에 대한 사실적이거나 진실한 표현을 생성하도록 학습되지 않았으므로, 이러한 콘텐츠를 생성하는 것은 이 모델의 능력 범위를 벗어납니다.

한계 및 편향

한계

• 모델은 완벽한 사진적 사실성을 달성하지 못합니다.

• 모델은 가독성 있는 텍스트를 렌더링할 수 없습니다.

• 모델은 "파란 구체 위에 붉은 입방체"와 같은 구성적 복잡성을 요구하는 어려운 작업에 약합니다.

• 얼굴 및 일반적인 인물은 적절히 생성되지 않을 수 있습니다.

• 모델의 자동 인코딩 부분은 손실이 있습니다.

편향

이미지 생성 모델의 능력은 인상적이지만, 사회적 편향을 강화하거나 악화시킬 수도 있습니다.

출처:

"SDXL 0.9는 SDXL 연구 라이선스의 하에 라이선스되며, Stability AI Ltd.의 저작권 보호를 받습니다. 모든 권리 보유."

라이선스

SDXL 0.9 연구 라이선스" FFXL 0.9 연구 라이선스"

샘플