[Pony] inflatable zebra and some horses

詳細

モデル説明

これは私の最初のLoRAです。

これまでプロンプトで十分な括弧を使っていなかった!このLoRAは、私が思っていたよりもはるかに柔軟かもしれない。

使用方法(v1.1)

このバージョンにはエンベディングは不要です。

Pony Realism v2.2 Main + VAE でトレーニングされ、これは DPM++ 2M Karras をサポートしていません — 推奨されるものとしては DPM++ 2M SDE KarrasDPM2 aEuler a などがあります。Pony Diffusion V6 XL とは互換性がありません。他のモデルではテストされていません。

プロンプトの書き方は基本的に類似しています (v1.0の画像を参考にしてください) が、「inflatable」という単語は茶色のウマではなく、カラフルなぼんやりした塊を引き起こす可能性があります(これは過学習またはCFGが高すぎる兆候かもしれません)。これにより、inflatable な馬や十分にトレーニングされていない要素を生成するのが難しくなります。

データセットのバランスのおかげで、「jets medium zebra」や「jets small zebra」は、多少の努力や最小限のプロンプトで生成可能です。

使用方法(v1.0)

Pony Diffusion V6 XL でトレーニングされました。

重要

このバージョンでは、以下のエンベディングファイルが必要です(やや高いレーティングの場合があります): /model/1041364?modelVersionId=1168345(エンベディングフォルダに配置するか、プロンプト内で説明通りに参照してください)。私が使用したトレーニングワークフローではエンベディングの有効化が推奨されたため、「inflatable」という単語は一切使用せず、他のタグのためのスペースを確保しました。

ComfyUIで実行する際、ポジティブプロンプトに以下のようなものを含めてください(「:」の後の部分がファイル名なので、必要に応じて編集してください — 「embedding_」の数に注意してください):

embedding:embedding_embedding_embedding_zeblora-20241214-8-object_sdxl_embeddings

この文字列と同一タグ内のキーワードは、LoRAとの関連性が高くなります。その名前でエンベディングが見つからない場合、ComfyUIはターミナルにメッセージを出力します。

Civitaiで動作する例のプロンプト:

zebra embedding:urn:air:sdxl:embedding:civitai:1041364@1168345, photo

「photo」という部分は必ずしも必要ではないかもしれませんが、「inflatable」な結果を得るには、これを含めないと上手くいきませんでした。

トレーニング

ベースモデルは Pony Diffusion V6 XL で、人間を含まない約327枚のインフレータブルなウマやその他のおもちゃの写真を使用してトレーニングされました。ただし、デフォルトでは、最も人気だった第2世代の6フィートのJet Creationsのシマウマに最も似たシマウマを生成します。

v1.0のセットには約3+3枚のNSFW要素が含まれていましたが、ポーズ(積み重ね)のみを取得できました。

使用したタグ:

エンベディングと組み合わせて効果的な上位タグ(写真数は以下ですが、一部タグが多すぎて一部をスキップしました):

  • zebra (320)

  • b/w coat (302)

  • jets big zebra (210)

  • indoors (149)

  • outdoors (82)

  • horse (78)

  • lying down (44)

  • tiger (36)

  • side view (22)

  • zecora (15)

効果があるかもしれませんが、意図した通りの結果にはならない可能性のあるタグ:

  • inflated enough (286)

  • feral (261)

  • fully inflated (245) — 「inflated enough」を意味する

  • jet creations (154)

  • jets llhorse (41)

  • iw (38)

  • iw horse (36) — Inflatable Worldの馬を生成する場合としない場合がある

他の興味深いタグ:

  • deer (30) と jets deer (28) — 写真にあったようなインフレータブルなシカではなく、別のタイプのシカを生成

  • jets medium zebra (77) — 特別な効果なし

  • vbs horse (60) — horseとおそらく同じ

  • pinto (60)

  • orange coat (47), brown coat (21)

  • standing (25)

  • butt (22) — アーティファクト

  • plot (20) — 効果なし、アーティファクト

重複:

  • photo (322) — インフレータブルではない2D画像が出る場合に追加

  • nonpop (318)

トレーニング

ベースモデル:Pony Diffusion V6 XL

データセット:約327枚のインフレータブルなウマおよびその他のおもちゃの写真(Jet Creationsのシマウマが中心で、ほとんどが第2世代の6フィートサイズ)。Inflatable Worldのシマウマは検索対象外でしたが、見つかった数枚は混在していた可能性があります。

edenartlab/sd-lora-trainer

512x512を選択すると、自動的にすべての画像が576x447または447x576にリサイズ・切り抜かれました。重心を中心に切り抜かれたと表示されたと思います。

kohya_ssで利用可能なバランス機能については一切言及されていませんでした。

チェックポイントテスト画像用のプロンプトは自分で選択する必要があるとされましたが、私は選択しませんでした。以前の試みでは、テスト画像の数を増やしていたため、キャプションをプロンプトとして使用していましたが、今回は事前定義されたプロンプトが使用され、そのほとんどが無関係で役に立ちませんでした。

著作権

選択した許可は、以下の点を考慮して決定しました。

このLoRAはPony Diffusion V6 XLをベースとしており、そのライセンスが適用される可能性があります。

最もよく生成されるおもちゃはJet Creations、Inflatable World、Hongyiが販売していました。Horseplay Toys、G&G、PuffyPawsの製品にも影響があるかもしれません。これらには他の作者や著作権者が存在する可能性があります。

元の写真はインターネット上で見つけました。出力は非常に汎用的ですが、自身の写真の一般的な設定を認識し、クレジットを希望される場合は、遠慮なくお申し出ください。

このモデルで生成された画像

画像が見つかりません。