SDXL 360 Diffusion

概述

SDXL 360 Diffusion 是一个拥有35亿参数的模型，专为根据文本描述生成360度球形图像而设计。

该模型在极其多元的数据集上进行了训练，该数据集包含数万张等距圆柱投影图像，涵盖风景、室内、人物、动物和物体。所有图像在训练前均被调整为2048x1024分辨率。

在提供恰当的提示词时，该模型应能生成几乎任何你想要的内容。

使用方法

在提示词中使用触发短语：“equirectangular 360 view”、“360 panorama”或其变体。

渲染图像时，建议选择2:1的宽高比，例如1024x512、1536x768或2048x1024。之后，你可以使用任意你喜欢的超分辨率工具，将图像提升至足够高的分辨率，以适用于天空盒、背景、VR、VR治疗和3D世界。

该模型还可作为3D世界工作流中的“文本到图像”部分使用：文本到图像 -> 图像到视频 -> 视频到3D世界。

附加工具

HTML 360 查看器

为便于查看和分享360图像与视频，我开发了一个基于网页浏览器的本地HTML 360查看器。

• 你可以在 Github Pages 上试用：https://progamergov.github.io/html-360-viewer/

  • Github 源代码：https://github.com/ProGamerGov/html-360-viewer

• 你可以在 URL 后附加 ?url= 并接上你的图像链接，即可自动加载至360查看器，极大简化了分享你的360创作的过程。

• 示例：https://progamergov.github.io/html-360-viewer/?url=https://upload.wikimedia.org/wikipedia/commons/7/76/Dauderi.jpg

推荐的 ComfyUI 节点

如果你使用 ComfyUI，以下节点集可用于处理360图像与视频。

• ComfyUI_preview360panorama

  • 用于在 ComfyUI 内预览360图像和视频（可能比我的网页查看器慢）。

  • 链接：https://github.com/ProGamerGov/ComfyUI_preview360panorama

• ComfyUI_pytorch360convert

  • 用于编辑360图像，以及为模型应用圆形填充以提升输出质量。

  • 链接：https://github.com/ProGamerGov/ComfyUI_pytorch360convert

对于 Diffusers 及其他库，处理360媒体时可使用 pytorch360convert 库。

LoRA 训练

由于360图像相对稀缺，通常更推荐自行生成360图像以教导模型新概念。以下是几种可用于生成训练LoRA所需360图像的方法：

1. Blender 渲染

• 有大量免费模型和场景可供使用，你可以精确摆出角色的姿势。

• Blender 的 Cycles 渲染引擎配合全景等距圆柱投影设置 可生成360度渲染图。

2. 电子游戏截图

• 示例：使用 Nvidia Ansel。

3. 360度相机

• 公共图书馆：有时可从图书馆借阅360度相机。

• 购买：也可直接购买360度相机。

4. 数字插画、绘画与绘图工具

• 一些用于手工创作数字插画、绘画、绘图及其他媒介的工具，也具备帮助你生成无缝360图像的功能。

局限性

由于 SDXL 的特性，可能需要多次尝试才能根据给定提示获得理想结果。

HuggingFace

该模型亦可从 HuggingFace 下载（含引用信息）：https://huggingface.co/ProGamerGov/sdxl-360-diffusion