Illustrious x Pony Mix

詳細

ファイルをダウンロード

モデル説明

優れた**×** Pony Mi**×**

HFでモデルを無料で試す

v3はこれまでで最も優れたマージバージョンです! 改善点:

  • 今やデフォルトのスタイルが追加され、ponyスコアタグ、審美的プロンプト、LoRA、アーティストタグを使わなくても良好な結果が得られます!最初のプレビュー画像はこれらすべてを使っていません。単に基本的な肯定プロンプトと否定プロンプトのみです。

  • 上記の理由により、LoRAとの互換性が大幅に向上しました。

  • v2よりもさらにノイズと潜在的な乱れが少なくなりました。

  • プロンプトの忠実度、品質、解剖学的構造が改善されました。

  • モデルは今やNAI3のような明瞭さと詳細な質感を備えています。

  • 背景はまださらなる改善が必要です。

以前の更新:

v2は、元のモデルと比較して大幅な改善を実現しました。潜在的なノイズが少なくなり、手や指を含む解剖学的構造が向上しました。

これは、私がfine-tuneしたIllustriousモデルと、私がfine-tuneしたPonyベースモデルのマージ版です。

ponyスコアタグ、レーティングタグ、Illustriousアーティストタグに対応しています。ponyスコアタグ(オプションでPonyモードを有効化)は、プロンプトの先頭に記載し、その後にアーティストタグを続けます。

次の効果:

score_9,score_8_up,score_7_up

異なる強度での効果:

アーティストを指定しない場合、デフォルトスタイルはひどく見えます。これは、最終調整のfine-tuneでキャプションドロップアウトを使用しなかったためです。しかし結果は非常に素晴らしいです!

いくつかの称賛の言葉をいただけると嬉しいです。この2つのモデルをマージするのは非常に大変な作業でした。この出力は完璧ではありませんが、複雑なシーンを非常に良く処理し、私には元のIllustriousモデルと同じような独特の魅力を感じます。

一般的な手法:

最初のステップとして、トレイン差分と比較補間を利用してモデルをマージしました。その後、この2つのモデルを通常の方法でマージしました。結果はノイズが多く、グレーカラーですが、両モデルの性質と知識を実際に含んでいます。そこで、40万枚の画像データセットを用いて1エポックのfine-tuneを実施し、モデルを安定化させました。次に、マージによって抑えられた特徴を引き出す特別なLoRAのセットをマージしました。その後、同じデータに対してさらに2エポックのfine-tuneを実施するモデルを用意し、これをLoRAに変換して負の強度で適用すると、解剖学的構造/指/ノイズが大幅に改善されます。このLoRAをマージしてv2モデルが完成しました。

その結果、ponyスコアタグとレーティングタグが機能し、Illustriousアーティストタグも機能します。オリジナルのIllustriousモデルの詳細度も向上しました。ponyプロンプトを使用すると、マージしたPony fine-tuneに使用した画像と同じような画像が再現され、概念が正しく転送されたことを確認できました。

ツール:

https://github.com/silveroxides/sd-webui-untitledmerger

https://github.com/hako-mikan/sd-webui-supermerger/issues/408

https://github.com/Linaqruf/kohya-trainer/blob/main/Kohya%20Trainer%20XL%20Runpod.ipynb

このモデルで生成された画像

画像が見つかりません。