Seele-NoobAI-SDXL

詳細

ファイルをダウンロード

モデル説明

Seele-NoobAI-SDXL 2.1 の使い方:ユーザー向けガイド

1. 概要

「noobai」の NOOBAI XL-VPred 1.0 モデルを微調整した Seele-NoobAI-SDXL 2.0 は、大きな進化を遂げました。v1.0 およびその派生版との主な違いは、2.0 が単なるスタイル化モデルを超えている点です。

この新バージョンは、2048x2048 までの解像度をネイティブでサポートします。実際、このページのすべてのプレビュー画像は、インペインティングやアップスケーリングを一切使用せずに、この高解像度で直接生成されています。ワークフローをご覧になりたい場合は、画像をダウンロードして ComfyUI に直接読み込み、メタデータを抽出するだけで済みます。

v1.0 の単一のスタイル指向とは異なり、2.0 は特定の美的スタイルに縛られていません。オリジナルの noobai と同様に、プロンプト、特にアーティストタグへの応答が優れています。専用データセットの厳選により、これらのタグから生み出されるスタイル出力が、オリジナルの noobai と非常に一貫性を持つようにしました。つまり、noobai で使用していたアーティストタグの文字列をそのまま使用すれば、ほぼ同じ結果を得られます。

ご関心のある方は、この投稿の最後に私のトレーニング手法を共有します。それでは、正式に Seele-NoobAI-SDXL 2.0 をご紹介します:即座に美しい高解像度画像を生成するために構築されたモデルです!

2. プロンプト

プロンプトの最後に以下のタグを追加してください:

masterpiece, best quality, newest, absurdres, highres, high resolution,

推奨ネガティブプロンプト:

worst quality, normal quality, old, early, low quality, lowres, text, word, text watermark, Color cast, Blurred background, Halo, Colorful spots,

1024x1024 解像度でのトラブルシューティング

1024x1024 解像度で生成する際に、視覚的アーティファクトや画像の歪みが発生する場合は、以下のプロンプトの調整をお試しください:

  1. ポジティブプロンプトで:

    • high resolutionnormal resolution に置き換えてください。
  2. ネガティブプロンプトで:

    • (high resolution:1.2), (medium resolution:1.2) を追加してください。

このターゲット調整により、これらの特定の生成問題が効果的に解決されます。

3. パラメータ設定

cfg:4.5—5.5

noobai の推奨とは異なり、v2.0 ではデフォルトで Rescale CFG を無効にすることをお勧めします。ただし、生成中に色のアーティファクトが発生した場合は、0.5 の値から試してみてください。(重要:この値は 0.5 以下にのみ下げて調整し、増加させないでください。)

サンプラー:euler/euler a

また、euler_ancestral_cfg_pp および euler_cfg_pp サンプラーも優れた選択肢であり、強く推奨します。

スケジューラ:sgm_uniform

スケジューラとしては、sgm_uniform が最適です。代替案としては simple や normal が良好です。一般的には karras の使用は推奨しませんが、ご自身のニーズに合っているか試してみてください。

ステップ:28—40

解像度:

768x1344、832x1216、896x1152、1024x1024、1152x896、1216x832、1344x768、1024x1536、1536x1024、1536x1536、1536x2048、2048x1536、2048x2048、1920x1080、1080x1920

まとめると、合計面積が 1024x1024 から 2048x2048 の範囲にある任意の解像度で画像を生成できます。理論的には、このモデルは 512x512 までの解像度もサポートするはずですが、私は実際に試していません。ご自身でテストして可能性を探ってください。

最後に、さらに結果を高めたいユーザー向けに、高度なオプションを紹介します:euler_smea_dy サンプラーです。

このサンプラーは、ネイティブな高解像度生成に最適化されており、鮮明でクリーンな線を実現します。ただし、2パスワークフロー(例:1024x1024 の低解像度で生成し、その後アップスケーリングする)を利用する際には重要な注意点があります。アップスケーリングの段階では、スケジューラを exponential に設定しなければなりません。これを怠ると、画像の背景が過度に滑らかになり、詳細が失われます。

ただし、直接高解像度(例:2048x1536)で生成する場合は、このサンプラーはほぼ完璧だと考えています。興味のある方は、作者の GitHub リンクをご覧ください:Koishi-Star/Euler-Smea-Dyn-Sampler: A sampler base on Euler, aim at generating better picture/一種基于Euler的采样方法,旨在生成更好的图片

4. 結び

Seele-NoobAI-SDXL 2.0 を使って創作するすべてのユーザーが楽しんでくれることを心から願っています。自分が誇れる画像を生成された場合は、ギャラリーに投稿していただけると大変嬉しく思います。

コミュニティが創り出す作品を間近で見ることは、このプロジェクトの開発と改善を続けるための最大の励みです。ご支援、ありがとうございます!

5. トレーニング手法

v2.0 の高解像度生成機能は、私にとって非常に実験的な試みでした。Illustrious XL 1.0 やその後継モデルではこの機能が実装されていましたが、私のトレーニングプロセスではまったく未開拓の領域でした。

その過程で、次々と問題に直面しました。低解像度での出力の破損、高解像度でのアーティファクトの継続、モデルがまったく一貫した画像を生成できなくなる重大な失敗、そして 1024x1024 でトレーニングされた多数のコミュニティ LoRA との互換性問題などです。

何より大きな課題は経済的な制約でした。モデルトレーナーであれば誰もが知っているように、理想的なアプローチは可能な限り多くのコンセプトを含むことです。これは膨大な画像数のトレーニングを意味します。コミュニティの一般的な情報源は Danbooru ですが、2048 解像度でフル Danbooru データセットをトレーニングするための資金は、私の予算では到底手が届きませんでした。私の予算は、2048px トレーニング用に数万枚の厳選された画像に限りがあります。

そこで核心的な問いが生まれました:限られたデータセットで、どのようにモデルの有効性を最大化できるか?私の戦略は、Danbooru2024 データセットを時間と ID でフィルタリングし、Danbooru の歴史にわたるあらゆるスタイルを網羅するように選定することでした。幸運にも、noobai は非常に堅牢なベースモデルです。私のテスト(1024px で実施)では、このフィルタリング手法が noobai のオリジナルの汎化能力にほとんど影響を与えないことが確認できました。結果として、その強力な柔軟性とプロンプトへの応答性が完全に保存されました!

次に、高解像度トレーニングの「方法」に取り組みました。初期のアプローチとして高解像度画像のみを使用したところ、低解像度生成に重大な悪影響が出ました。モデルの低解像度処理能力が完全に劣化し、ノイズが多発し、解剖学的な歪みが生じました。次の実験では、その能力を維持するために低解像度画像を混ぜ込みました。この時点で、友人が重要な質問を投げかけました:同じ画像を高解像度と低解像度の両方で使用するべきか、それとも異なる解像度の異なる画像を混合するべきか?

今回、幸運にも、1回の実験で明確な結論を得ました。異なる解像度で多様な画像を含む混合データセットは、モデルの汎化能力を大幅に向上させました。私の仮説では、限られた画像セットを異なる解像度でトレーニングすることは、その限られたセットに対する過剰適合に等しく、自然にモデルの柔軟性を低下させます。最終的に、Illustrious XL 論文で言及されているマルチステージトレーニング戦略を採用しました:まず、1536px 画像を含むデータセットでモデルをトレーニングし、その後、2048px 画像を含むデータセットで最終段階のトレーニングを実施しました。

6. その他

データセット:deepghs/danbooru2024 · Datasets at Hugging Face

リソース:Illustrious: an Open Advanced Illustration Model

トレーニング手法に関する貴重な指導をいただいた @Anlia に心より感謝します。

モデルテストフェーズでのご協力に感謝します:@Des_Moines_prpr

トレーニング中のアドバイスをいただいた @Vecthral にも感謝します。

1. 概要

noobai V プレディクショントレーニングに基づいています。

クリーンなキャラクターライン、豊かな背景のディテール、優れた光と影の表現——これらが私のモデルの強みです!

もちろん、大規模な NSFW トレーニングセットでもトレーニングしているため、NSFW 内容を生成したい場合、Seele-NoobAI-SDXL はあなたを失望させません。

2. 画質強化タグ

プロンプトの最後に以下を追加してください:

masterpiece,best quality,newest,absurdres,highres,

3. 推奨ネガティブプロンプト

worst quality,normal quality,old,early,low quality,lowres,signature,username,logo,bad hands,mutated hands,mammal,anthro,furry,ambiguous form,feral,semi-anthro,watermark,text,petals,light particle,

4. 使用上の提案

サンプラー:euler/euler a

cfg:4.5-5.5

スケジューラ:ddim_uniform/karras

ステップ:30-40

上記はすべて提案であり、実際の使用中は自由に他の設定を試してみてください!noobai と同様に、Rescale CFG の使用を強く推奨します。

最後に、背景を非常に明確にするために、少なくとも 1.5 倍のズームを一度は行うことを強くお勧めします!

5. 結び

このモデルは、より洗練されたキャラクターラインと豊かな背景を実現するためにトレーニングしました。トレーニングの最終段階で、ふとした思い付きで新しい光と影のトレーニングセットを追加したため、今ご覧いただいている Seele-NoobAI-SDXL には、十分な光と影の表現が備わっています。

皆さんがこのモデルを気に入っていただけたら嬉しいです。ギャラリーにさらに多くの画像を投稿していただければ、さらにモチベーションが高まります!

変更履歴

V2.1

この更新は v2.0 に対して複数の主要な改善とバグ修正を導入しています:

  • 前バージョンで発生していた、誤ったマルチ解像度ノイズ反復の実装によりゼロ終端の信号対雑音比(SNR)が破損するという重大な問題を解決しました。

  • トレーニングデータセットを再バランスし、全体的なサイズを大幅に拡張しました。

  • 1024px 解像度での画像生成品質が向上し、以前頻発していた視覚的アーティファクトが効果的に排除されました。

v2.0

モデルの高解像度生成能力を強化しました。

v1.2

申し訳ありませんが、v1.1 はアップロード時に非常に過学習されたバージョンを誤って公開してしまいました。v1.2 ではこれを修正し、トレーニングセットを調整して背景がごちゃごちゃになることがないようにしました。

注目:このバージョンでは新しいネガティブプロンプトを追加しました!

また、多くの人を驚かせるトレーニング手法を実験中です。この手法でトレーニングされたモデルは、次のアップデートですぐに更新されないかもしれませんが、近いうちに公開されます!

v1.1

1.0 トレーニングセットに基づく再トレーニングにより、一部の動きにおける大規模な忘却が解消されました。私は v1.1 バージョンに大変満足しており、今後のアップデートは v1.1 を基準に調整します。

このモデルで生成された画像

画像が見つかりません。