Gigafractal Diffusion SD2

[HuggingFace]にて最初に投稿された: kabachuha https://huggingface.co/kabachuha/gigafractal2-diffusion

Gigafractal2 Diffusionは、元のStabilityAI Stable Diffusion v2.0を基盤とし、他の拡散モデル「Disco Diffusion」で生成された40枚の画像を素材にDreamboothにより微調整された潜在空間テキストから画像への拡散モデルです。本モデルは、通常よりはるかに多いトレーニングステップを用いたDreambooth学習の可能性と限界を探るため、またテキストエンコーダーのトークン連想が引き起こすモデルのバイアスを解消する目的で作成されました。このモデルの目的は、Disco Diffusionに見られる生体的フラクタル主義の効果を備えながらも、「ディスコパーティ」や特に「ディスクボール」に偏る傾向を排除することです。※[snek氏のモデル](was known for) で知られていた問題点です。

Dreamboothハイパーパラメータ

export MODEL_NAME="stabilityai/stable-diffusion-2"

export INSTANCE_DIR="/home/{USERNAME}/kml/datasets/styles/dscdif"

export CLASS_DIR="/home/{USERNAME}/kml/datasets/styles/dscdif2"

export OUTPUT_DIR="/home/{USERNAME}/kml/models1"

accelerate launch train_dreambooth.py \

--pretrained_model_name_or_path=$MODEL_NAME \

--instance_data_dir=$INSTANCE_DIR \

--class_data_dir=$CLASS_DIR \

--output_dir=$OUTPUT_DIR \

--with_prior_preservation --prior_loss_weight=1.0 \

--instance_prompt="gigafractal artstyle" \

--class_prompt="biomorphic" \

--resolution=768 \

--train_batch_size=1 \

--gradient_accumulation_steps=1 \

--learning_rate=1e-6 \

--lr_scheduler="constant" \

--lr_warmup_steps=0 \

--num_class_images=200 \

--max_train_steps=2040 \

--mixed_precision 'no' \

--train_text_encoder

200枚のAI生成された正則化データセットは、AUTOMATIC1111のwebui上で以下のプロンプトを用いて生成されました。このプロンプトが最終的な出力品質にポジティブな影響を及ぼした可能性があります。

ライセンス

本モデルはオープンアクセスであり、誰もが自由に利用可能です。CreativeML OpenRAIL-Mライセンスにより使用権限や制限が明示されています。CreativeML OpenRAIL-Mライセンスに従い、

・モデルを意図的に違法または有害な出力・コンテンツを生成・共有する目的で使用してはいけません。
・出品者（著作者）は、ユーザーが生成する出力に関して一切の権利を主張しません。ユーザーは、生成物の使用に関して自由であり、その使用がライセンスに定める規定に反しないことを自己責任で確認する必要があります。
・モデルの重みを再配布し、商業目的および/またはサービスとして利用可能。再配布を行う場合は、ライセンスに定める同様の使用制限を含み、すべてのユーザーにCreativeML OpenRAIL-Mのコピーを共有しなければなりません（ライセンス全文をよく読み、慎重に理解すること）。

ライセンス全文はここを確認してください

後続利用目的

本モデルはエンタメ用途および生成アートアシスタントとして使用可能です。

謝辞

*　snek氏の研究にインスパイアされました。 *　CompVis研究者、Disco Diffusion開発者、Deforum開発者、およびトレーニングに使用されたコンテンツの制作に貢献したすべてのアーティスト（AIを含む）の素晴らしい努力があってこそこのプロジェクトは成り立っています。 *　本作者はsnek氏が提供したデータセットに感謝します。

主観的意見: 出力画像の品質は、別のテキスト到画像生成器Midjourneyと同等であると感じます。