Gigafractal Diffusion SD2

원본 게시물: HuggingFace의 kabachuha님

Gigafractal2 Diffusion은 원래의 StabilityAI Stable Diffusion v2.0 기반의 잠재 공간 텍스트-이미지 생성 확산 모델로, 이후 'Disco Diffusion'이라는 다른 확산 모델로 생성된 40장의 이미지를 활용해 Dreambooth를 통해 미세 조정되었습니다. 이 모델은 흔히보다 훨씬 더 많은 학습 스텝을 적용한 Dreambooth 훈련의 가능성을 탐구하고, 텍스트 인코더의 토큰 연결으로 인해 발생하는 편향을 극복하고자 만들어졌습니다. 해당 모델의 목적은 Disco Diffusion에서 나타나는 생체 형질의 프랙탈 효과를 제공하지만, 특히 '디스코 파티'와 '디스코볼'에 대한 편향 없이 이를 구현하는 것입니다. [snek이 만든 모델에서 알려진 것처럼]

Dreambooth 하이퍼파라미터

export MODEL_NAME="stabilityai/stable-diffusion-2"

export INSTANCE_DIR="/home/{USERNAME}/kml/datasets/styles/dscdif"

export CLASS_DIR="/home/{USERNAME}/kml/datasets/styles/dscdif2"

export OUTPUT_DIR="/home/{USERNAME}/kml/models1"

accelerate launch train_dreambooth.py \

--pretrained_model_name_or_path=$MODEL_NAME \

--instance_data_dir=$INSTANCE_DIR \

--class_data_dir=$CLASS_DIR \

--output_dir=$OUTPUT_DIR \

--with_prior_preservation --prior_loss_weight=1.0 \

--instance_prompt="gigafractal artstyle" \

--class_prompt="biomorphic" \

--resolution=768 \

--train_batch_size=1 \

--gradient_accumulation_steps=1 \

--learning_rate=1e-6 \

--lr_scheduler="constant" \

--lr_warmup_steps=0 \

--num_class_images=200 \

--max_train_steps=2040 \

--mixed_precision 'no' \

--train_text_encoder

200개의 AI 생성 이미지로 구성된 정규화 데이터셋은 AUTOMATIC1111의 웹 UI에서 아래 프롬프트를 사용하여 생성되었으며, 이로 인해 최종 결과 품질에 긍정적인 영향을 미쳤을 수 있습니다.

라이선스

이 모델은 모든 사용자에게 개방된 접근이 가능하며, CreativeML OpenRAIL-M 라이선스에 따라 사용 권한과 권리가 추가로 명시되어 있습니다. CreativeML OpenRAIL-M 라이선스는 다음과 같이 규정하고 있습니다:

• 모델을 악의적으로 법적 또는 해로운 출력물을 생성하거나 공유하는 데 사용할 수 없습니다.
• 저작자는 귀하가 생성한 출력물에 대해 어떠한 권리도 주장하지 않습니다. 귀하는 출력물을 자유롭게 사용할 수 있으며, 그 사용에 대해 책임을 져야 하며, 라이선스에서 정한 조건에 반하는 사용은 금지됩니다.
• 모델의 가중치를 재배포하고 상업적 또는 서비스 형태로 사용할 수 있습니다. 이 경우 반드시 라이선스에 규정된 사용 제한 조건을 동일하게 유지하고, 모든 사용자에게 CreativeML OpenRAIL-M 라이선스 사본을 제공해야 합니다 (라이선스 전문을 충분히 읽고 주의 깊게 이해하시기 바랍니다).

전체 라이선스를 여기에서 읽어주세요

하류 사용 용도

이 모델은 엔터테인먼트 용도 및 생성 예술 보조기로 사용할 수 있습니다.

감사의 말

• snek의 작업에 영감을 받음
• CompVis 연구진, Disco Diffusion 개발팀, Deforum 개발자, 그리고 훈련을 위해 콘텐츠를 제공한 모든 아티스트들(아무리 AI라도)의 놀라운 업적 없이 이 프로젝트는 불가능했을 것입니다.
• 제공된 데이터셋에 대해 snek님께 감사를 드립니다.

주관적 의견: 출력 이미지의 품질은 다른 텍스트-이미지 생성기인 Midjourney와 비교해도 유사한 수준입니다.