360 Diffusion LoRA for SD 1.5

360 Diffusion v1

처음 게시됨 HuggingFace.

이 LoRA 모델은 360° 등각투영 이미지가 2,104장 포함된 매우 다양한 데이터셋에서, Stable Diffusion v1-5 모델을 사용하여 미세조정되었습니다.

이 모델은 트리거 키워드 qxj를 사용하여 미세조정되었습니다. AUTOMATIC1111 WebUI를 사용할 경우, 모델을 활성화하기 위해 프롬프트 끝에 <lora:360Diffusion_v1:1>을 추가해야 합니다.

렌더링 팁

렌더링 시 1:2 비율이나 완전한 정사각형을 사용하는 것이 좋습니다. 1:1 정사각형으로 렌더링하면 공간의 개념 일관성(예: 방 벽)을 개선하는 데 도움이 됩니다.

txt2img에서 큰 크기로 렌더링할 경우 세부 사항이 일관성을 잃을 수 있으므로, 최소한 한 변이 512px 이상이 되는 작은 버전을 먼저 렌더링한 후, img2img를 통해 크기를 확대하는 것이 좋습니다 (노이즈 제거 값을 0.5로 설정하거나 내장된 고해상도 보정 기능을 사용).

세부 사항은 img2img를 반복적으로 여러 번 적용하면 개선될 수 있으며, 노이즈 제거 값은 0.5, 시드 크기 조정을 함께 사용합니다.

틈새 처리

Stable Diffusion은 정사각형과 직사각형만 렌더링할 수 있으므로, 등각투영 이미지의 가장자리 부분은 다른 쪽과 완벽하게 맞지 않을 수 있습니다. 이러한 틈새는 일반적으로 매우 작지만, 여러 가지 방법으로 해결할 수 있습니다:

* asymmetric-tiling 확장의 x축 타일링 기능을 사용하면 틈새를 완전히 제거할 수 있으나, 출력 품질이 크게 떨어질 수 있습니다. 흔히 사용하는 20단계에 대해 50%~60% 단계부터 타일링을 시작하는 것이 효과적입니다 (예: 9단계에서 시작).

* 이미지를 좌우로 옮긴 후, 가장자리 부분에 인페인팅을 사용할 수 있습니다.

* GIMP (potentially with G'MIC) 또는 Photoshop을 사용하여 틈새를 제거할 수 있습니다.

유용한 태그

모델의 사용성을 높이기 위해, 다양한 객체, 장면, 스타일, 콘텐츠를 태그로 표시했습니다. 참고로 이 목록은 훈련 데이터 기반이며, 기본 모델에서 추가된 내용은 포함되지 않습니다. 또한 이 목록은 완전하지 않습니다.

스타일

- "photo", "photobash", "render", "architectural rendering", "illustration", "digital illustration", "painting", "digital painting", "drawing", "watercolor painting", "concept art", "charcoal drawing", "sketch", "rough sketch", "fractal art", "crayon drawing", "anime", "pixel art"

카메라 위치

- "underwater", "aerial view", "interior", "exterior", "pov", "street level", "above the clouds", "low earth orbit", "underground"

장소

- "library", "bedroom", "bathroom", "hallway", "corridor", "bridge", "helm", "cockpit", "driver's seat", "street", "road", "forest", "city", "train station", "railway", "greenhouse", "residential street", "dock", "hanger", "landing pad", "ferry", "cave", "observatory", "amusement park", "waterpark", "tunnel", "mine", "tropical", "beach", "desert", "steep slope", "cliff", "ocean", "body of water", "river", "mountain", "space", "underground bunker", "space station"

하늘

- "aurora borealis", "cloudy", "overcast sky", "blue sky", "stars"

시간

- "sunset", "sunrise", "night", "sunny day", "winter", "twilight", "fall"

기상

- "rain", "raining", "snow", "snowing", "fog", "haze", "smoke", "storm", "stormy", "lightning", "flooded", "arid"

조명

- "bright", "dark", "dimly lit"

주제

- "futuristic", "cyberpunk", "historical", "messy", "scifi", "minimalism", "minimalistic", "simple", "simplistic", "video game", "surrealism", "surrealistic", "cartoon", "comic", "black and white", "smooth", "ancient", "medieval", "vector art", "abandoned", "horror"

인간 및 동물

- "people", "women", "woman", "man", "men", "cat", "dog", "horse", "group of", 다양한 돌연변이 공룡, "zombie", "fish", "shark"

360도 이미지 보기

이 모델로 생성된 이미지는 360도 뷰어에서 시청하도록 설계되었으며, 2D 환경에서 보면 이상한 왜곡이 나타납니다. 따라서 다음 뷰어를 추천합니다:

웹사이트 (VR 헤드셋 지원): https://renderstuff.com/tools/360-panorama-web-viewer/

AUTOMATIC1111 WebUI 확장: https://github.com/GeorgLegato/sd-webui-panorama-viewer

렌더링 결과물을 스테레오 3D 이미지로 변환하는 WebUI 확장: https://github.com/thygate/stable-diffusion-webui-depthmap-script

예제 이미지 모델

사용된 예제 이미지는 다음과 같은 모델에 의해 생성되었습니다:

- 풍경 렌더링: /model/4384/dreamshaper

- 인물 렌더링: /model/4823/deliberate