Gigafractal Diffusion SD1.5

원본 게시: HuggingFace에서 kabachuha 작성

Gigafractal Diffusion은 원래의 CompVis Stable Diffusion v1.5 기반의 잠재 공간 텍스트-이미지 생성 확산 모델로, 'Disco Diffusion'이라는 다른 확산 모델로 생성된 40장의 이미지에 대해 Dreambooth를 사용해 미세 조정된 모델입니다. 이 모델은 일반적인 학습 단계보다 훨씬 많은 학습 단계를 사용함으로써 Dreambooth 학습의 가능성과 한계를 탐구하고, 텍스트 인코더의 토큰 연결으로 인한 모델 내 편향을 완화하기 위해 제작되었습니다. 이 모델의 목적은 Disco Diffusion에 존재하는 생물학적 프랙탈 효과를 제공하지만, [snek의 모델이 유명했던] '디스코 파티'와 특히 '디스코 볼'에 대한 편향을 포함하지 않도록 하는 것입니다.

Dreambooth 하이퍼파라미터

python main.py --base configs/stable-diffusion/v1-finetune_unfrozen.yaml \ -t \ --actual_resume /home/{USERNAME}/kml/stable-diffusion-webui/models/Stable-diffusion/v1-5-pruned.ckpt \ -n dscdif \ --gpus 0, \ --data_root /home/{USERNAME}/kml/datasets/styles/dscdif \ --reg_data_root /home/{USERNAME}/kml/datasets/styles/dscdif1 \ --class_word biomorphic \ --no-test \ --max_steps 2040

정규화 데이터셋으로서 200장의 AI 생성 이미지가 AUTOMATIC1111의 웹 인터페이스를 사용해 생성되었으며, 이에 사용된 프롬프트가 결과 품질에 긍정적인 영향을 미쳤을 가능성이 있습니다.

라이선스

이 모델은 오픈 액세스이며, 누구나 사용할 수 있으며, CreativeML OpenRAIL-M 라이선스가 권한 및 사용 조건을 추가적으로 명시하고 있습니다. CreativeML OpenRAIL 라이선스에 따라 다음과 같습니다:

• 모델을 사용하여 고의적으로 불법적이거나 해로운 출력물 또는 콘텐츠를 생산하거나 공유하면 안 됩니다.
• 저작권자(작성자)는 여러분이 생성하는 출력물에 대한 어떠한 권리도 주장하지 않습니다. 여러분은 자유롭게 그 출력물을 사용할 수 있으며, 사용 책임은 귀하에게 있으며, 라이선스에 명시된 규정에 위배되지 않도록 해야 합니다.
• 모델의 가중치를 재배포하거나 상용적, 서비스 목적 등으로 사용할 수 있습니다. 다만, 그러한 경우 라이선스에 명시된 사용 제한 사항을 동일하게 적용하고, 모든 사용자에게 CreativeML OpenRAIL-M 라이선스 사본을 제공해야 합니다 (라이선스 전문을 꼼꼼히 읽고 이해하시기 바랍니다).

전체 라이선스는 여기에서 읽어주세요

하류 사용 목적

이 모델은 오락적 목적이나 생성 미술 보조 도구로서 활용할 수 있습니다.

감사의 말씀

• snek의 작업에 영감을 받음
• CompVis 연구자, Disco Diffusion 개발팀, Deforum 개발자 및 모든 훈련 콘텐츠를 제공한 작가들(아이들은 물론 AI 작가 포함)의 혁신적인 업적 덕분에 이 프로젝트가 가능해졌습니다.
• 제공된 데이터셋에 대해 snek에게 감사의 말씀을 드립니다.

주관적인 의견: 출력 이미지의 품질은 Midjourney와 같은 다른 텍스트-이미지 생성기와 비교해 비슷한 수준입니다.