360 Diffusion LoRA for SD 1.5

360 Diffusion v1

初回投稿: HuggingFace。

このLoRAモデルは、2104枚のキャプション付き学習画像を含む、非常に多様な360°等距円柱投影データセットを、Stable Diffusion v1-5モデルを用いてファインチューニングしました。

このモデルは、トリガー語 qxj を使ってファインチューニングされています。AUTOMATIC1111 WebUI を使用する場合、モデルを有効にするために、プロンプトに <lora:360Diffusion_v1:1> を追加する必要があります。

レンダリングのヒント

レンダリングの際は、1:2の比率または完全な正方形を推奨します。1:1の正方形でレンダリングすると、部屋の壁などといったコンセプトの一貫性が向上します。

テキストから画像（txt2img）生成では、サイズが大きくなると細部の整合性が損なわれることがあるため、まず少なくとも一辺が512px前後になるように小さいサイズで初期レンダリングを行い、その後img2img（ノイズ除去値を0.5に設定）または組み込みの高解像度修復機能で拡大することをおすすめします。

場合によっては、出力を複数回img2imgに繰り返し通すことで、ノイズ除去値0.5とシードリサイズを併用することで、細部の品質をさらに向上させることができます。

シーム処理

Stable Diffusionは正方形や長方形しかレンダリングできないため、等距円柱投影（equirectangular）では左右の端（シーム）が完全に一致しない場合があります。これらのシームは一般的にはほとんど気にならないものですが、以下のような対処法があります。

* asymmetric-tiling 拡張のX軸タイル機能を使用すると、シームを完全に無くすことができますが、出力品質が著しく低下する場合があります。その影響を最小限に抑えるために、「ステップNからタイリングを開始」の設定を、およそ50%のタイミング（例：20ステップの場合、9ステップ目から開始）に設定することをおすすめします。

* 画像を左右にシフトした後、シーム部分をインペインティング（穴埋め）で処理できます。

* GIMP（G'MIC などと併用可能）またはPhotoshopを使用し、シームを手動で除去できます。

有効なタグ

モデルの使いやすさを高めるため、物体、場面、スタイル、コンテンツなどの分類に合わせて複数のキーワードやフレーズがタグとして使用されました。注意点として、これらのリストはトレーニングデータに基づくものであり、ベースモデルによって追加されたものではありません。また、これらは完全なリストでもありません。

スタイル

- 「photo」、「photobash」、「render」、「architectural rendering」、「illustration」、「digital illustration」、「painting」、「digital painting」、「drawing」、「watercolor painting」、「concept art」、「charcoal drawing」、「sketch」、「rough sketch」、「fractal art」、「crayon drawing」、「anime」、「pixel art」

カメラ位置

- 「underwater」（水中）、「aerial view」（空から）、「interior」（屋内）、「exterior」（屋外）、「pov」（主観視点）、「street level」（路面レベル）、「above the clouds」（雲の上）、「low earth orbit」（低軌道）、「underground」（地下）

場所

- 「library」（図書館）、「bedroom」（寝室）、「bathroom」（お風呂）、「hallway」（廊下）、「corridor」（通路）、「bridge」（橋）、「helm」（コクピットの操縦室）、「cockpit」（操縦室）、「driver's seat」（運転席）、「street」（道）、「road」（道路）、「forest」（森）、「city」（都市）、「train station」（駅）、「railway」（鉄道）、「greenhouse」（温室）、「residential street」（住宅街）、「dock」（埠頭）、「hanger」（格納庫）、「landing pad」（着陸パッド）、「ferry」（フェリー）、「cave」（洞窟）、「observatory」（天文台）、「amusement park」（遊園地）、「waterpark」（水族公園）、「tunnel」（トンネル）、「mine」（坑道）、「tropical」（熱帯）、「beach」（ビーチ）、「desert」（砂漠）、「steep slope」（急斜面）、「cliff」（崖）、「ocean」（海）、「body of water」（水域）、「river」（川）、「mountain」（山）、「space」（宇宙）、「underground bunker」（地下要塞）、「space station」（宇宙ステーション）

空

- 「aurora borealis」（オーロラ）、「cloudy」（曇り）、「overcast sky」（曇天）、「blue sky」（青空）、「stars」（星）

時間帯

- 「sunset」（日没）、「sunrise」（日出）、「night」（夜）、「sunny day」（晴天）、「winter」（冬）、「twilight」（宵闇）、「fall」（秋）

天候

- 「rain」（雨）、「raining」（雨が降っている）、「snow」（雪）、「snowing」（雪が降っている）、「fog」（霧）、「haze」（はれ）、「smoke」（煙）、「storm」（嵐）、「stormy」（荒れた）、「lightning」（雷）、「flooded」（浸水）、「arid」（乾燥）

照明

- 「bright」（明るい）、「dark」（暗い）、「dimly lit」（薄暗い）

テーマ

- 「futuristic」（未来主義）、「cyberpunk」（サイバーパンク）、「historical」（歴史的）、「messy」（ごちゃごちゃ）、「scifi」（SF）、「minimalism」（ミニマリズム）、「minimalistic」（ミニマリスト）、「simple」（シンプル）、「simplistic」（単純）、「video game」（ビデオゲーム）、「surrealism」（超現実主義）、「surrealistic」（超現実的）、「cartoon」（漫画）、「comic」（コミック）、「black and white」（白黒）、「smooth」（滑らか）、「ancient」（古代）、「medieval」（中世）、「vector art」（ベクターアート）、「abandoned」（放棄された）、「horror」（ホラー）

人物と動物

- 「people」（人々）、「women」（女性）、「woman」（女性）、「man」（男性）、「men」（男性たち）、「cat」（猫）、「dog」（犬）、「horse」（馬）、「group of」（グループ）、「various dinosaurs」（さまざまな恐竜）、「zombie」（ゾンビ）、「fish」（魚）、「shark」（サメ）

360度画像の視聴方法

このモデルで生成された画像は、360度対応のビューアで視聴することを目的としています。そのため、2Dで見ると不自然な歪みが発生します。以下のビューアのご使用をおすすめします。

Webサイト（VRヘッドセット対応）：https://renderstuff.com/tools/360-panorama-web-viewer/

AUTOMATIC1111 WebUI拡張：https://github.com/GeorgLegato/sd-webui-panorama-viewer

レンダリング結果をステレオスコピック3D画像に変換するWebUI拡張：https://github.com/thygate/stable-diffusion-webui-depthmap-script

例の画像モデル

使用された例の画像は以下のモデルを用いました：

- 景色のレンダリングに使用：/model/4384/dreamshaper

- 人間のレンダリングに使用：/model/4823/deliberate