(HoJ) - High on Juice - Semi-realistic IllustriousXL

n_Arnon_Arno
421
4.1K
base modelsemi-realisticnsfwsfwcheckpointillustriousanime-like
v4.0cV3_DMD2v3.0v2.0v1.1v1.0

詳細

ファイルをダウンロード

モデル説明

V4!

他のチェックポイントを作成し、その中にHoJを統合しようとしていた際、sd-mechaを使い始めました。これは単なる単純なマージツールではなく、非常に強力なツールです。しかし最も興味深かったのは、得られた奇妙な警告でした：CLIP-Lのあるレイヤーの一部のキーに、非有限値（つまりNaN、-Inf、または+Inf）が含まれているというものです。ああ、これはよくありません。これは、プロンプトがパースされる際に、一部の条件が破損し、画像に奇妙な結果をもたらす可能性があることを意味します。

慎重に調査したところ、このエラーは私のほぼすべてのチェックポイントに存在していました o_O

私は即座に修正を行いました：

from safetensors.torch import load_file, save_file

h = load_file("mine\\Hoj\\HoJ_IXL-V1.1.fp16.safetensors")
to_fix = [ k for k in h.keys() if not h[k].isfinite().all() ]

print(to_fix)
['conditioner.embedders.0.transformer.text_model.encoder.layers.11.mlp.fc1.weight', 'conditioner.embedders.0.transformer.text_model.encoder.layers.11.mlp.fc2.weight', 'conditioner.embedders.0.transformer.text_model.encoder.layers.11.self_attn.k_proj.weight', 'conditioner.embedders.0.transformer.text_model.encoder.layers.11.self_attn.out_proj.weight', 'conditioner.embedders.0.transformer.text_model.encoder.layers.11.self_attn.q_proj.weight', 'conditioner.embedders.0.transformer.text_model.encoder.layers.11.self_attn.v_proj.weight']

b = load_file("base\\illustriousXL_v01.safetensors")
test_base = [ k for k in b.keys() if not b[k].isfinite().all() ]

print(test_base)
[]

for k in to_fix:
  h[k] = b[k]

save_file(h, "hoj11.safetensors")

この修正版のHoJ 1.1を基に、2.0、3.0、およびAnBan ShinV2を統合して、HoJ 4.0c（修正済みCLIP版）を構築しました。

V3

V3.0がリリースされました！これはV2.0をベースに、Nijiの不要な影響を排除するための試みを加えたものです（詳細は以下）。@GZeesに特筆して感謝します！

V3 + DMD2

DMD2 LoRAを少し試す予定なので、これをHoJ V3に統合しました。このバージョンは実験的です。通常通りネガティブプロンプトを使いたい場合はV3.0をお勧めします。そうでない場合、このバージョンでは8ステップ、Euler A、CFG 1を使用すると非常に高速に生成できます 😁

短い物語

HoJは、私が好む、高コントラストで鮮やかに色づけされた、半現実的なアニメ風の画像に焦点を当てたチェックポイントです。

推奨使用法：

  • サンプラー/スケジューラ：

    • DPM++ 2M SDE Heun & SGM Uniform （展示用に私が使用したもの）

    • Euler A と「automatic」、「SGM Uniform」、または「Beta」のいずれか（楽しく使う場合）

    • DPM++ 2M と Karras も動作しますが、最適ではありません

  • ステップ数：30～40

  • CFG：6 （これは私の好みです。自由に実験してください）

  • VAE：標準的なSDXL VAEが組み込まれているため、「追加のカラフルVAE」は不要です

  • アップスケーラー：4xNMKDSuperscale 20ステップ、ノイズ除去率最大0.3

  • Adetailer：ノイズ除去率最大0.15、ステップ数は同じ、VAEは同じ（またはNone）

  • ポジティブプロンプト：クオリティタグ（masterpieceなど）は不要です

  • ネガティブプロンプト：IllusN3g

  • アーティストタグ：これらを使うことはおすすめしません。正しく機能しません

  • Clip Skip：2 （ただし1でも十分に動作します）

  • 🚩 NSFW警告：モデルの年齢やセキュリティ対策を必ず含めてください。そうでないと、あまりにも若いキャラクターが生成される可能性があります。これは私が発見した問題であり、今後のバージョンで修正する必要があると考えています。

許可：このモデルをマージに使用する際は、出典を明記してください 😉

このモデルを他のウェブサイトにアップロードしないでください、

私はTAとSAへのアップロードを自分で管理します。

@GZeesさんが、https://socialdiff.net にもHoJを追加してくれました。試してみたい方はぜひどうぞ 🥰

ソースリソースに準拠するため、生成した画像の商用利用は禁止されています。

V3.0 更新「長め」の物語

この記事で述べたように、私の作品にNijiの影響が過剰に滲み出ていることに圧倒されてきています。このスタイル自体を否定しているわけではありませんが、デフォルトで組み込まれるのは望んでいません。そのため、このLoRAを作成しました。

今回の更新で、HoJ V2.0に「Nijiを取り除く」処理が施されました。

@GZeesの許可を得て、iLustMixの優れた改善を活用して、HoJの狂気を抑えつつ、その独自のスタイルを保つように調整しました：

  • HoJ V2.0からiLustMix V2.0を除いたLoRAを抽出しました

  • それをiLustMix V7.0に適用しました

  • その結果をCosineでHoJ V2.0にマージしました（その上にUn-Niji-fyを適用）

  • 次に、元のスタイルを取り戻すために、HoJ V1.0を少量だけ、ベース/CLIPとMIDブロックにのみ加えました

  • 最後に、ちょっとアクセントを加えるために、結果にAdd Micro Details V4を0.1の強度でマージしました（モデルの記述によれば、マージは許可されています）

この手法により、修正用チェックポイントの影響を最小限に抑えながら、HoJ V3.0を実現できました。

（有名な）長い物語（V1.0）

これは、私が独自に構築したIllustriousマージチェックポイントを基盤とし、JunkJuice Psychonex（Ponyモデル）を巧妙に混ぜ合わせながら、Illustriousの良さを損なわないように作られました。

オープン性を保つため、私が使用したリソースは以下の通りです：

その後、この記事で説明されている通り、「最高品質の画像」のサブセットを使って数エポック手動で微調整しました。

得られた微調整モデルを、元のチェックポイントに慎重に統合し、そのデフォルトを修正しました。そのために、マージブロックを使用して、以下の2つのバージョンを作成しました（ブロックの類似性はこちら）：

  • 元のモデル + 微調整：外観が似ているブロックのみ（IN/OUTペア02,03,05,06 + MID、強度1.0）

  • 元のモデル + 微調整：外観が異なるブロックのみ（IN/OUTペア00,01,04,07,08、強度1.0、ただし01ペアは過度な彩度を避けるために0.25）

そして、SupermergerとCosine計算モードを使用して、これらの2つのバージョンを混合し、最終的なチェックポイント（類似部分0.25 + 異なる部分CosineA）を完成させました。

ご読破ありがとうございます！ 💖

編集：HoJを微調整するために使用したデータセットは以下で公開されています：https://huggingface.co/datasets/n-Arno/juicy

このモデルで生成された画像

画像が見つかりません。