SDXL 360 Diffusion

개요

SDXL 360 Diffusion은 텍스트 설명에서 360도 구면 이미지를 생성하기 위해 설계된 35억 파라미터 모델입니다.

이 모델은 수만 장의 등각원형 이미지로 구성된 극도로 다양성 있는 데이터셋을 사용하여 SD-XL 1.0-base 모델에서 학습되었습니다. 이 이미지들은 풍경, 실내, 인간, 동물, 물체를 묘사하며, 학습 전 모든 이미지는 2048x1024 해상도로 조정되었습니다.

적절한 프롬프트를 제공하면, 이 모델은 원하는 거의 모든 것을 생성할 수 있습니다.

프롬프트에는 "equirectangular 360 view", "360 panorama" 또는 이 단어들의 변형을 사용하세요.

이미지를 렌더링할 때는 1024x512, 1536x768, 2048x1024와 같은 2:1 비율을 추천합니다. 이후 원하는 업스케일러를 사용하여 스카이박스, 배경, VR, VR 치료, 3D 월드에 적합한 해상도로 이미지를 확장할 수 있습니다.

이 모델은 3D 월드 워크플로우의 '텍스트에서 이미지로' 단계로도 사용할 수 있습니다: 텍스트 → 이미지 → 이미지 → 비디오 → 비디오 → 3D 월드.

360 이미지 및 비디오의 시청과 공유를 쉽게 하기 위해, 내 장치에서 로컬로 실행되는 웹 브라우저 기반 HTML 360 뷰어를 개발했습니다.

GitHub Pages에서 직접 시도해보세요: https://progamergov.github.io/html-360-viewer/
- GitHub 소스 코드: https://github.com/ProGamerGov/html-360-viewer
?url= 뒤에 이미지 링크를 추가하면 360 뷰어에 자동으로 로드되어, 360 콘텐츠 공유가 매우 간단해집니다.
예시: https://progamergov.github.io/html-360-viewer/?url=https://upload.wikimedia.org/wikipedia/commons/7/76/Dauderi.jpg

ComfyUI 사용자라면, 360 이미지 및 비디오 작업에 유용한 다음 노드 세트를 사용할 수 있습니다.

ComfyUI_preview360panorama
- ComfyUI 내부에서 360 이미지 및 비디오를 시청합니다(내 웹 브라우저 뷰어보다 느릴 수 있음).
- 링크: https://github.com/ProGamerGov/ComfyUI_preview360panorama
ComfyUI_pytorch360convert
- 360 이미지 편집 및 모델에 원형 패딩을 적용하여 출력 품질을 향상시키기 위함.
- 링크: https://github.com/ProGamerGov/ComfyUI_pytorch360convert

Diffusers 및 기타 라이브러리에서는 360 미디어를 다룰 때 pytorch360convert 라이브러리를 사용할 수 있습니다.

360 이미지의 상대적인 부족으로 인해, 모델에 새로운 개념을 가르치기 위해 자체적으로 360 이미지를 생성하는 것이 종종 더 쉽습니다. LoRA 학습을 위한 360 이미지를 생성하는 몇 가지 방법은 다음과 같습니다:

1. Blender 렌더링

2. 비디오 게임 스크린샷

3. 360 카메라

4. 디지털 일러스트, 회화 및 드로잉 도구

SDXL의 특성상, 주어진 프롬프트로 원하는 출력을 얻기 위해 여러 번 시도해야 할 수 있습니다.

이 모델은 HuggingFace에서도 다운로드 가능하며, 인용 정보도 함께 제공됩니다: https://huggingface.co/ProGamerGov/sdxl-360-diffusion

모델 유형	체크포인트
기본 모델	SDXL 1.0
게시일	8/24/2025
학습된 단어	equirectangular 360 view equirectangular 360 view 360 panorama