SDXL 360 Diffusion

概要

SDXL 360 Diffusionは、テキストの記述から360度球面画像を生成することを目的とした35億パラメータのモデルです。

このモデルは、風景、室内、人物、動物、物体を描いた数万枚の等積円筒図像から構成される極めて多様なデータセット上で、SD-XL 1.0-baseモデルを基に学習されました。すべての画像は学習前に2048x1024にリサイズされています。

適切なプロンプトを用いれば、このモデルはあなたが望むほぼすべての画像を生成できます。

使用方法

プロンプトには、「equirectangular 360 view」や「360 panorama」、またはそれらの語のバリエーションを含めてください。

画像をレンダリングする際は、1024x512、1536x768、または2048x1024のような2:1のアスペクト比を選択することをお勧めします。その後、スカイボックス、背景、VR、VR療法、3Dワールドに十分な解像度になるよう、お好みのアップスケーラーを使用できます。

このモデルは、3Dワールドワークフローの「テキストから画像」部分としても使用できます：テキスト→画像→動画→3Dワールド。

追加ツール

HTML 360 ビューワー

360画像および動画の閲覧と共有を容易にするため、デバイス上でローカルに動作するWebブラウザベースのHTML 360ビューワーを構築しました。

• GitHub Pagesで試すことができます：https://progamergov.github.io/html-360-viewer/

  • GitHubのソースコード：https://github.com/ProGamerGov/html-360-viewer

• ?url=に画像へのリンクを続けて追加すると、360ビューワーに自動的に読み込まれ、360作品の共有が極めて簡単になります。

• 例：https://progamergov.github.io/html-360-viewer/?url=https://upload.wikimedia.org/wikipedia/commons/7/76/Dauderi.jpg

推奨されるComfyUIノード

ComfyUIを使用している場合、360画像および動画の扱いに役立つ次のノードセットがあります。

• ComfyUI_preview360panorama

  • ComfyUI内で360画像および動画をプレビューするため（私のWebブラウザビューワーよりも遅くなる可能性があります）。

  • リンク：https://github.com/ProGamerGov/ComfyUI_preview360panorama

• ComfyUI_pytorch360convert

  • 360画像の編集や、出力品質を向上させるためにモデルに円形パディングを適用するため。

  • リンク：https://github.com/ProGamerGov/ComfyUI_pytorch360convert

Diffusersその他のライブラリでは、360メディアを使用する際にpytorch360convertライブラリを利用できます。

LoRAのトレーニング

360画像の数が比較的少ないため、モデルに新しい概念を教えるために独自の360画像を生成することがしばしば容易です。LoRAのトレーニング用に独自の360画像を生成する方法はいくつかあります：

1. Blenderレンダリング

• 無数の無料モデルとシーンが利用可能で、キャラクターを自由にポージングできます。

• Blenderのパノラマ等積円筒設定を用いたCyclesレンダリングエンジンは、360度レンダリングを生成します。

2. ゲームスクリーンショット

• 例：Nvidia Anselを使用。

3. 360カメラ

• 公共ライブラリ：360カメラは図書館から借りられる場合があります。

• 購入：360カメラを直接購入することもできます。

4. デジタルイラスト、絵画、描画ツール

• デジタルイラスト、描画、絵画などの手作業用ツールの中には、シームレスな360画像の作成を支援する機能を持つものがあります。

制限事項

SDXLの性質上、与えられたプロンプトから望ましい出力を得るには複数回の試行が必要になることがあります。

HuggingFace

このモデルは、以下でダウンロード可能（引用情報も含む）です：https://huggingface.co/ProGamerGov/sdxl-360-diffusion