CivitAI ๐ Style Fusion - FFusionAI Entry (+dataset)
์ธ๋ถ ์ ๋ณด
ํ์ผ ๋ค์ด๋ก๋
์ด ๋ฒ์ ์ ๋ํด
๋ชจ๋ธ ์ค๋ช
CivitAI ์คํ์ผ ์ตํฉ๐LoRAs

์ต์ข ์ ๋ฐ์ดํธ: ๐ CivitAI Lora5 32DIM ๋ฐ์ดํฐ์ ํฌํจ ๋ ธํธ๋ถ

์ต์ข ์ ๋ฐ์ดํธ: ๐ CivitAI Lora3 ์ค์ - CivitAI ํธ๋ ์ด๋๋ก ํ์ต๋จ
๐ ๋ ์ง: 2023-11-10 | ์ ๋ชฉ: CivitAI_64_ALL
๐ ์ฃผ์ ์ฌ์:
ํด์๋: 1024x1024
์ํคํ ์ฒ: stable-diffusion-xl-v1-base/lora
๋คํธ์ํฌ Dim/Rank: 64.0, Alpha: 1.0
๋ชจ๋: networks.lora
ํ์ต๋ฅ : UNet LR ๋ฐ TE LR์ ์ต์ ์์ค์ผ๋ก ์ค์
์ต์ ํ๊ธฐ: ๊ณ ๊ธ AdamW8bit
์ํฌํฌ ๋ฐ ํ์ต: 576๊ฐ์ ๋ฐฐ์น๋ก 10์ํฌํฌ ์ง์ค ํ์ต
๐ ๋ชจ๋ธ ํต๊ณ:
- UNet ๊ฐ์ค์น: Mag - 7.602, Str - 0.0187
Resolution: 1024x1024 Architecture: stable-diffusion-xl-v1-base/lora
Network Dim/Rank: 64.0 Alpha: 1.0
Module: networks.lora
Learning Rate (LR): 0.0005 UNet LR: 0.0005 TE LR: 5e-05
Optimizer: bitsandbytes.optim.adamw.AdamW8bit(weight_decay=0.1)
Scheduler: constant Warmup steps: 0
Epoch: 10 Batches per epoch: 576 Gradient accumulation steps: 1
Train images: 2304 Regularization images: 0
Multires noise iterations: 6.0 Multires noise discount: 0.3
Min SNR gamma: 5.0 Zero terminal SNR: True Max grad norm: 1.0 Clip skip: 1
Dataset dirs: 1
[img] 576 images
UNet weight average magnitude: 7.602270778898858
UNet weight average strength: 0.018722912685324843
Text Encoder (1) weight average magnitude: 2.7649271326702607
Text Encoder (1) weight average strength: 0.009535635958680934
Text Encoder (2) weight average magnitude: 2.6905091182810352
Text Encoder (2) weight average strength: 0.007233532415344915

์๋กญ๊ฒ ์ถ์๋ LoRA ๋ชจ๋ธ์ ํตํด FFusionAI์ AI ๊ธฐ๋ฐ ์คํ์ผ ํฉ์ฑ ์ ๊ทผ ๋ฐฉ์์ ํ์ํด ๋ณด์ธ์. ๊ฐ ๋ชจ๋ธ์ CivitAI ๊ณต์ ํธ๋ ์ด๋๋ฅผ ์ฌ์ฉํ์ฌ ๊ฐ๋ฐ๋์ด ์ ๋ฐ์ฑ๊ณผ ํ์ง์ ๋ณด์ฅํฉ๋๋ค.
๐ ๏ธ LoRA ๋ชจ๋ธ ๊ฐ์:
LoRA 1 - ๋ผ์ดํธ ๋ฒ์ : ๋น ๋ฅธ ํ ์คํธ์ฉ์ผ๋ก ์ค๊ณ๋์์ผ๋ฉฐ, ์๊ท๋ชจ ๋ฐ์ดํฐ์ ์ ์ฌ์ฉํด ๋น ๋ฅด๊ฒ ์คํ์ผ์ ์์ฑํ๋ฉฐ, 32์ฐจ์ ์ฉ๋์ ์ฌ์ฉํฉ๋๋ค.
LoRA 2 - ์ปค๋ฎค๋ํฐ ์ตํฉ: CivitAI ์ฝํ ์คํธ์ ์ฌ๋ฌ ์ฌ์ฉ์๊ฐ ์ ์ถํ 500๊ฐ ์ด์์ ์ด๋ฏธ์ง๋ก ๊ฐ๋ฐ๋ ๊ฐ๋ ฅํ ๋ชจ๋ธ์ ๋๋ค. ์ด ๋ฒ์ ๋ 32์ฐจ์ ์ฉ๋์ ์ฌ์ฉํฉ๋๋ค.
LoRA 3 - ํฅ์๋ ์ ๋ฐ๋: LoRA 2๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๋ ๋์ ์ฐจ์์ผ๋ก ์ถ๊ฐ ํ์ต๋์ด ์ ์ฒด ์ด๋ฏธ์ง ํ์ง์ ๊ฐ์ ํ๋ ๋ฐ ์ค์ ์ ๋ก๋๋ค.
LoRA 4 - ํฌ๊ด์ ์คํ์ผ ๊ฒฐํฉ: 1400๊ฐ์ ์ด๋ฏธ์ง๋ก ๊ตฌ์ฑ๋ ๋ฐฉ๋ํ ๋ฐ์ดํฐ์ ์ FFusionAI ์ ์ถ์์ ๋ชจ๋ ์คํ์ผ์ ์ง์ฝํ ๊ฒ์ ๋๋ค. ์ด ๋ชจ๋ธ์ ์์ฑ ์คํ์ผ์ ์ ๊ตํํ๊ณ ๋ค์ํํ๊ธฐ ์ํด ์ถ๊ฐ UNet ํ์ต์ ๊ฑฐ์ณค์ต๋๋ค.
1. FFusionAI ์คํ์ผ ์บก์ฒ ๋ฐ ์ตํฉ ๋๊ฒฐ LoRA

๐จ ๋ฐ์ดํฐ์ ๋ฐ ํ์ต:
ํจํค์ง์๋ CivitAI ์ปฌ๋ ์ ์์ ์ ๊ทผํ ์ ์๋ ์ ๋ณ๋ ์ปฌ๋ ์ ์ด ํฌํจ๋์ด ์์ต๋๋ค. ํ์ต ํ๋กฌํํธ๋ BLIP-2, FLAN-T5-XL ๋ฐ ViT-H-14๋ฅผ ์ฌ์ฉํ์ฌ ์์ฑ๋์์ต๋๋ค.
์๋ ํ๋กฌํํธ๋ ํ์ต์ ์ฌ์ฉ๋์ง ์์์ต๋๋ค. ๋์ blip2-flan-t5-xl ๋ฐ ViT-H-14/laion2b_s32b_b79k๋ฅผ ์ฌ์ฉํ์ฌ ์๋์ ์ผ๋ก ์์ ํ์ฌ ํ์ต ๋ฐ์ดํฐ์ ์ ์กฐ์ ํ๊ณ ํฅ์์์ผฐ์ผ๋ฉฐ, ์ด ๋ด์ฉ์ ์ฌ๊ธฐ์์ ํ์ธํ ์ ์์ต๋๋ค.
๐ ์ถ๊ฐ ์ ๋ณด:
์์ธํ ํ์ต ๋ฐ์ดํฐ์ , ํ๋ผ๋ฏธํฐ ๋ฐ ๋ชจ๋ธ ์ฌ์์ ํ์ธํ๋ ค๋ฉด ์ ๋ฌธ๊ฐ ๋ฐ ์ ํธ๊ฐ๋ถ๋ค์ ์ปฌ๋ ์ ๋ด์ ์ ๊ณต๋ ๋ฉํ๋ฐ์ดํฐ๋ฅผ ํ์ํด ์ฃผ์ธ์.

LORA 2
๐ CivitAI ์ค์ ๊ฐ์ - 2023-11-10
๐ ๊ณต์ CivitAI ํธ๋ ์ด๋๋ก ํ์ต๋จ
๐ ๋ ์ง: 2023-11-10
๐ผ๏ธ ์ ๋ชฉ: CivitAI_ALL
๐ ํด์๋: 1024x1024
๐๏ธ ์ํคํ ์ฒ: stable-diffusion-xl-v1-base/lora
โ๏ธ ์ฃผ์ ์ค์ :
๋คํธ์ํฌ Dim/Rank: 32.0
Alpha: 1.0
๋ชจ๋: networks.lora
ํ์ต๋ฅ : UNet LR - 0.0005, TE LR - 5e-05
์ต์ ํ๊ธฐ: AdamW8bit (weight_decay=0.1)
์ํฌํฌ ๋ฐ ๋ฐฐ์น: 10์ํฌํฌ, 167๋ฐฐ์น/์ํฌํฌ
ํ์ต ์ด๋ฏธ์ง: 576
๐ ๋ชจ๋ธ ํต๊ณ:
UNet ๊ฐ์ค์น: Mag - 3.755, Str - 0.0135
Text Encoder (1): Mag - 1.833, Str - 0.0091
Text Encoder (2): Mag - 1.836, Str - 0.0071
๐ท๏ธ ์ฃผ์ ํ๊ทธ:
์ตํฉ ์คํ์ผ, Artgerm, Beeple
๋คํฌ ํํ์ง, ๊ณต์ ์ํธ์ํฌ, ํ์ ์ํธ
๋์งํธ ์ผ๋ฌ์คํธ๋ ์ด์ , ํํ์ง ๋ฐ SF
...๊ทธ๋ฆฌ๊ณ 4500๊ฐ ์ด์์ ์ถ๊ฐ ํ๊ทธ!
๐ FFusion.ai ์ฐ๋ฝ์ฒ ์ ๋ณด
Source Code Bulgaria Ltd ๋ฐ Black Swan Technologies์์ ์๋์ค๋ฝ๊ฒ ์ด์ํฉ๋๋ค.
๐ง ํ์ , ๋ฌธ์ ๋๋ ์ง์: [email protected]
๐ ์์น: ์ํผ์ | ์ด์คํ๋ถ | ๋ฐ๋
์ฐ๋ฆฌ์ ์ฐ๊ฒฐํ์ธ์:
์ฐ๋ฆฌ์ ์น์ฌ์ดํธ:
๐ FFusion.ai
๐ FFAI.eu
๐ 1e-2.com





















