Gigafractal Diffusion SD1.5

最初发布于 HuggingFace 由 kabachuha

Gigafractal Diffusion 是一个基于原始 CompVis Stable Diffusion v1.5 的潜在文本到图像扩散模型，随后使用 Dreambooth 在 40 张由另一款名为“Disco Diffusion”的扩散模型生成的原始图像上进行了微调。该模型旨在探索 Dreambooth 训练的潜力与局限性，训练步数远超常规水平，并试图克服由文本编码器的标记关联所导致的模型偏差。此模型的目标是保留 Disco Diffusion 中的生物形态分形风格效果，但不再带有对“迪斯科派对”以及特别是“迪斯科球”的偏见——这是 snek 的模型 著称之处。

Dreambooth 超参数

python main.py --base configs/stable-diffusion/v1-finetune_unfrozen.yaml \ -t \ --actual_resume /home/{USERNAME}/kml/stable-diffusion-webui/models/Stable-diffusion/v1-5-pruned.ckpt \ -n dscdif \ --gpus 0, \ --data_root /home/{USERNAME}/kml/datasets/styles/dscdif \ --reg_data_root /home/{USERNAME}/kml/datasets/styles/dscdif1 \ --class_word biomorphic \ --no-test \ --max_steps 2040

200 张 AI 生成的正则化数据集图像通过 AUTOMATIC1111 的 WebUI 生成，所使用的提示词可能对最终图像质量产生了积极影响。

许可证

此模型为开放获取，供所有人使用，其使用受 CreativeML OpenRAIL-M 许可证进一步规定。CreativeML OpenRAIL 许可证内容如下：

你不能故意使用该模型生成或分享任何非法或有害的输出或内容。
作者不对你所生成的输出拥有任何权利，你可以自由使用这些输出，但须对其使用负责，且不得违背许可证所设定的条款。
你可以将模型权重重新分发，并将其用于商业用途或作为服务使用。若你这样做，需确保向所有用户施加与本许可证相同的使用限制，并向所有用户分享一份 CreativeML OpenRAIL-M 许可证副本（请务必完整并仔细阅读该许可证）。

请在此处阅读完整许可证

下游用途

该模型可用于娱乐目的，也可作为生成艺术助手。

致谢

• 灵感来自 snek 的工作
• 本项目若无 CompVis 研究人员、Disco Diffusion、Deforum 开发者以及所有为训练提供内容（即使内容由 AI 创作）的艺术家们的卓越贡献，将无法实现。
• 作者感谢 snek 提供的数据集。

主观观点：该模型生成图像的质量与另一款文本到图像生成器 Midjourney 相当。