bigASP 🐍 v2.0

写真級のSDXLモデルで、ベースのSDXLを600万枚以上の高品質な写真で4000万回のトレーニングサンプルを用いてファインチューニングしました。すべての写真はJoyCaptionでキャプション付けされ、JoyTagでタグ付けされています。これによりbigASP 🐍は、短く単純なものから長く詳細なものまで、幅広いプロンプトやコンセプトを理解し、高品質な写真的結果を生成できるようになります。

これはbigASP 🐍の2バージョン目です。コミュニティがこのモデルをどのように活用するか、その強みと弱みを学ぶのが楽しみです。生成結果やフィードバックをぜひ共有してください！

特徴

• 自然言語とタグベースの両方のプロンプト対応：バージョン2は、booruスタイルのタグだけでなく、自然言語プロンプト、あるいはその組み合わせも理解できます！

• SFWとNSFW対応：このバージョンのbigASP 🐍は、200万枚のSFW画像と400万枚のNSFW画像を含んでいます。目を惹くために着飾る？それとも目を惹くために脱ぐ？あなた次第です。

• 多様性：bigASP 🐍は意図的に多様なデータセットでトレーニングされており、私たちの美しい種族のあらゆる色、形、サイズを生成できます。サマーサイドな顔とはさようなら！

• アスペクト比バケットリング：ワイドスクリーン、正方形、縦向き、bigASP 🐍はすべて対応可能です。

• 高品質なトレーニングデータ：トレーニングデータの大部分は、SDXLのネイティブ解像度を超える高解像度のプロフェッショナル級写真で構成されており、すべて元の品質でダウンロードされ、追加の圧縮は一切行っていません。bigASP 🐍は1ピクセルも見逃しません。

• 長文プロンプト対応：プロンプトで最大225トークンまでサポートしてトレーニングされています。名前通り、BIGなaspです。

• （オプション）美的/品質スコア：バージョン1と同様、このモデルは品質スコアを理解し、生成の質を向上させるのに役立ちます。例えば、プロンプトの先頭にscore_7_upを追加すると、生成の品質をガイドできます。詳細は以下をご覧ください。

新機能（バージョン2）

• 自然言語プロンプトを追加：モデルの制御能力を大幅に拡張し、v1に対する多くの不満を解消し、さらに多くのコンセプトをモデルが理解できるようになりました。

• 画像数が3倍以上に増加：バージョン2では670万枚の画像（バージョン1は150万枚）。

• SFW対応：データセットに200万枚のSFW画像を追加しました。bigASPの汎用性と理解範囲を広げるためです。これまでのテストでは、bigASPは自然写真において非常に優れています。

• 長期間のトレーニング：バージョン1はややトレーニング不足を感じました。バージョン2では4000万サンプル（バージョン1は3000万）でトレーニングしました。この結果、モデルの安定性が大幅に向上しました。

• スコアタグがオプションに：トレーニング中にランダムにスコアタグがドロップされたため、スコアタグを指定しなくてもモデルは正常に動作します。

• 品質スコアモデルの更新：画像のスコアリングに使用されるモデルを更新し、若干の改善と新しいデータ範囲への対応を行いました。私の経験では、「良い」画像の範囲が広がり、スコア5からが「良い」の基準となりました。そのため、プロンプトで指定するスコアをより柔軟に設定でき、出力の多様性がさらに向上するでしょう。

• 男性向けデータの増加：多くの人にとって驚きかもしれませんが、世界人口のほぼ50%は男性です！私たちのモデルで男性が過小評価されているのは奇妙です。バージョン2では男性の体型に焦点を当てた画像を大幅に追加しました。まだ改善の余地はありますが、v1よりはましです。

推奨設定

サンプラー：DPM++ 2M SDE または DPM++ 3M SDE

スケジュール：Kerras または Exponential。⚠️警告⚠️ Normalスケジュールでは不良出力が発生します。

ステップ：40

CFG：2.0 または 3.0

Perturbed Attention Guidance（ComfyUIなど少なくともいくつかのUIで利用可能）は時折有効なので、試してみてください。特に顔や複雑なシーンで役立ちます。ただし、画像を過剰に加工してしまう可能性があるため、PAGを使用するときはCFGを下げてください。

⚠️警告⚠️ バージョン1から移行される場合、このバージョンの推奨CFG設定は大幅に低めです。

対応解像度（参照用画像数）：

832x1216: 2229287
1216x832: 2179902
832x1152: 762149
1152x896: 430643
896x1152: 198820
1344x768: 185089
768x1344: 145989
1024x1024: 102374
1152x832: 70110
1280x768: 58728
768x1280: 42345
896x1088: 40613
1344x704: 31708
704x1344: 31163
704x1472: 27365
960x1088: 26303
1088x896: 24592
1472x704: 17991
960x1024: 17886
1088x960: 17229
1536x640: 16485
1024x960: 15745
704x1408: 14188
1408x704: 12204
1600x640: 4835
1728x576: 4718
1664x576: 2999
640x1536: 1827
640x1600: 635
576x1664: 456
576x1728: 335

プロンプトの書き方

bigASP 🐍 バージョン2は、詳細な自然言語プロンプトとbooruタグプロンプトの両方をサポートするようトレーニングされています。つまり、以下のすべてのスタイルのプロンプトが動作します：

A photograph of a cute puppy running through a field of flowers with the sun shining brightly in the background. Captured with depth of field to enhance the focus on the subject.

Photo of a cute puppy, running through a field of flowers, bright sun in background, depth of field

photo (medium), cute puppy, running, field of flowers, bright sun, sun in background, depth_of_field

過去にbigASP v1をご利用の場合は、これらのタグはすべて引き続き動作します！しかし、今ではタグだけでなく、より詳細な自然言語でご希望の内容を説明できるようになりました。

bigASPがよく理解するプロンプトの書き方についてアイデアが必要な場合は、ご自身のお気に入りの画像をJoyCaptionに通してみてください：https://huggingface.co/spaces/fancyfeast/joy-caption-alpha-two bigASP v2はJoyCaption（Alpha Two）を使って短い、中程度、長いなど多様なキャプションを生成するようトレーニングされています。そのため、JoyCaptionのすべての設定が役立ちます。

また、ギャラリー内の画像のメタデータをチェックすると、ヒントが得られます。可能な限り、画像にはComfyUIのワークフローを一緒にアップロードしています。

最後に、スコアリングについて。bigASP 🐍 v2は、v1と同様、PonyDiffusionの素晴らしい取り組みに着想を得て、「スコアタグ」でトレーニングされています。つまり、score_8_upのようなタグを理解し、生成したい画像の品質を指定できます。bigASPのデータセットのすべての画像は0〜9のスコアがつけられ、0はトレーニングから除外され、9が最上級です。したがって、プロンプトの先頭にscore_7_upと書くことで、「品質7以上を希望する」とbigASPに伝えていることになります。

v1とは異なり、このバージョンではプロンプトにスコアタグを必須としません。指定しない場合、bigASPはその広範な品質の範囲内で自由に生成します。そのため、良いものも悪いものも期待できます。しかし、プロンプトの先頭に何かしらのスコアタグを付けることを強く推奨します。私は通常、score_7_upを使用し、一般的に高品質な結果を導きながら、bigASPにある程度の自由度を与えています。最良の品質だけを求めるならscore_9、より多様性を求めるならscore_5_upをお勧めします。この説明がわかりやすければ幸いです！複数のスコアタグを指定することも可能ですが、1つで十分です。また、低いスコアをネガティブプロンプトに入れて効果を試すこともできます。例えば、score_1, score_2, score_3など。

注意：スコアタグを使用する場合、プロンプトの先頭に配置しなければなりません。

注意：プロンプトにbooruスタイルのタグを使用する場合、一部のタグは括弧を用います（例：photo (medium)）。多くのUIでは括弧をプロンプトの重み付けに使用します！そのため、ComfyUIやAuto1111などのツールを使用する場合は、括弧をエスケープすることを忘れないでください。例：photo \(medium\)。

例題プロンプト

SFW, chill sunset over a calm lake with a distant mountain range, soft clouds, and a lone sailboat.

score_7_up, Photo of a woman with blonde hair, red lipstick, and a black necklace, sitting on a bed, masturbating, watermark

score_8, A vibrant photo of a tropical beach scene, taken on a bright sunny day. The foreground features a wooden railing and lush green grass, with a large, twisted palm tree in the center-right. The background showcases a sandy beach with turquoise waters and a clear blue sky. The palm tree has long, spiky leaves that contrast with the smooth, curved trunk. The overall scene is peaceful and inviting, with a sense of warmth and relaxation.

score_8_up, A captivating and surreal photograph of a cafe with neon lights shining down on a handsome man standing behind the counter. The man is wearing an apron and smiling warmly at the camera. The lighting is warm and glowing, with soft shadows adding depth and detail to the man. Highly detailed skin textures, muscular, cup of coffee, medium wide shot, taken with a Canon EOS.

score_7_up, photo \(medium\), 1girl, spread legs, small breasts, puffy nipples, cumshot, shocked

score_7_up, photo (medium), long hair, standing, thighhighs, reddit, 1girl, r/asstastic, kitchen, dark skin

score_8_up, photo \(medium\), black shirt, pussy, long hair, spread legs, thighhighs, miniskirt, outside

Photo of a blue 1960s Mercedes-Benz car, close-up, headlight, chrome accents, Arabic text on license plate, low quality

プロンプト（上級者向け）

バージョン1と同様、このバージョンのbigASPはJoyTagが使用するすべてのタグを理解します。v2のトレーニング中に見られたタグの一覧（各タグの出現回数を含む）を参照すると役立つ場合があります：https://gist.github.com/fpgaminer/0243de0d232a90dcae5e2f47d844f9bb

もちろん、バージョン2はJoyCaptionのおかげで、より自然なプロンプトを理解できるようになりました。つまり、このバージョンのbigASP 🐍が理解できる新しいコンセプトの宝庫が開かれています。多くの人がv1のタグリストをモデルの機能を探求するのに役立てました。自然言語の場合、同様のアプローチとして、トレーニング中にモデルが見たキャプションのコーパスに対して「n-gram」解析を行うことです。これは、よく使われる「単語の組み合わせ」を検出する方法です。以下がそのリストで、各テキスト断片の出現回数を含んでいます：https://gist.github.com/fpgaminer/26f4da885cc61bede13b3779b81ba300

n-gramリストの最初の列は考慮する単語数（1〜7）です。2列目はテキスト、3列目はその単語組み合わせが出現した回数です（1つのキャプション内で複数回出現するため、画像数より多い場合があります）。なお、この分析では「名詞句」を1つの単語として扱います。例：her right side、his body、water droplets。これらすべては、統合されたコンセプトを表すため1つの「単語」として数えられます。したがって、リスト上にtattoo on her right sideが3単語として記載されていることに驚かないでください。また、この分析のためにテキストを処理する過程で、一部の句読点が欠落している場合があります。

さまざまなソース（reddit、flickr、unsplash、instagramなど）や、特定のサブレディット（v1と同様）が言及可能です。

NSFW、SFW、Suggestiveなどのタグは、生成内容をガイドするのに役立ちます。

基本的に、bigASP 🐍は明示的に言及されない限りウォーターマークを生成しません。トリガーワードは偶然にもwatermarkです。ネガティブプロンプトにwatermarkを追加すると、さらにウォーターマークの生成を回避できる可能性がありますが、私のテストではほとんどのプロンプトでウォーターマークは非常に稀です。

bigASP 🐍は、The person is holding a sign with the text "Happy Halloween" on it.のような言語を使って、指定したテキストを生成できます。テキストを提示する方法はさまざまですが、画像に表示させたいテキストは必ずクォーテーションマークで囲んでください。ただし、これはSDXLであるため、良いテキストを得るには多くの試行を重ねる必要があります。また、画像が複雑になればなるほど、SDXLのテキスト生成能力は低下します。しかし、この古びた子には素敵なパリトリックです！

一部のカメラメーカー・モデルや焦点距離、絞り値などもモデルは理解しています。その効果は不明です。DSLRのようなタグを使うことで、モデルを「プロフェッショナルな写真」に近づけることができますが、注意点として、カメラが画像内に描かれてしまう可能性があります。

特徴で述べたように、bigASP 🐍は長文プロンプトのサポートでトレーニングされています。NovelAIが発明し、丁寧に文書化した技術を用いており、これはプロンプトがCLIPの最大トークン数（75）を超える場合、ほとんどの生成UIで採用されている技術と同じです。データセットにはさまざまな長さのキャプションがバランスよく含まれているため、数トークンから225トークンまでの長さはすべてうまく動作します。ただし、この技術の一般的な注意点に留意してください。

制限事項

• オフセットノイズ未対応：申し訳ありません、次バージョンで検討します。

• アニメ未対応：このモデルは完全に写真用です。将来のバージョンでアニメを追加し、モデルの理解範囲を広げる可能性があります。

• 顔・手・足：ご存知の通りです。

• VAEの問題：SDXLのVAEは酷い。誰もが知っています。しかし、写真ではその弱点が特に顕著です。bigASPは非常に高密度なディテールを生成するため、VAEの弱点が際立ってしまいます。これについては私が対処できることはほとんどありません。

• 奇跡は期待しないでください： これはSDXLなので、通常の挙動を想定してください。良い生成物と中途半端な生成物の比率は1:24、体の恐怖要素がかなり多く、などです。何の理由もなくうまくいくプロンプトもあれば、どんなに調整しても悪夢のような結果になるプロンプトもあります。bigASPのこのバージョンでは複数のキャラクター処理がv1より改善されていますが、まだ粗いままです。このような古いアーキテクチャのあり方です。私は現在、bigASPはここで達成可能な限界に近いと思います。

トレーニング詳細（バージョン2）

バージョン2のトレーニングに関するすべての細部は以下に記載されています：https://civitai.com/articles/8423

トレーニング詳細（バージョン1）

big SDXL ファインチューニングのトレーニング方法に関する詳細は、ほとんど存在しません。そのため、コミュニティの役に立てるよう、私のすべての詳細をここで共有します。

bigASPは約1,440,000枚の写真でトレーニングされ、すべての画像はそれぞれのアスペクト比バケットよりも大きな解像度を持っていました。各画像のディスク上のサイズは約1MBで、100万枚あたりのデータベースは約1TBになります。

各画像は以下の処理を経ます：品質モデルで0〜9の評価を受け、JoyTagでタグ付けされ、OWLv2を「水印」というプロンプトで使用して画像内の水印を検出します。OWLv2は、ファインチューニングされたビジョンモデル以上に優れた性能を発揮し、水印のバウンディングボックスを提供するという追加の利点があります。精度は約92％です。このバージョンでは実施していませんが、将来的にはバウンディングボックスを使ってトレーニング中に「損失マスキング」を実施可能で、これはSDに水印を隠すことを意味します。現時点では、水印が検出された場合、トレーニングプロンプトに「watermark」というタグが含まれます。

評価スコアが0の画像は完全に削除されます。私は、特定の画像をこのスコア範囲に落とすようにスコアリングモデルを特別にトレーニングしました。データセットにどれほど多くのゴミが紛れ込むか、そしてそれらのほんのわずかな痕跡でもトレーニングを大きく乱す可能性があることに驚くでしょう。サムネイル、ビデオプレビュー画像、広告など。

bigASPはSDXLの論文で定義されたアスペクト比バケットと同じものを使用しています。すべての画像は、縮小してもバケットのどの寸法よりも小さくならないように、最も適したバケットに分類されます。その後、スケーリングされた画像はランダムにクロップされます。元の解像度とクロップ情報は、VAEでエンコードされた画像と共にディスクに記録され、最終的に潜在変数はgzipで圧縮されます。gzipは約30％のスペース節約をもたらすことがわかりました。これにより、トレーニングデータセットは100万枚あたり約100GBに削減されます。

トレーニングはdiffusersライブラリを元にしたカスタムトレーニングスクリプトで実施しました。カスタムスクリプトを使用したのは、内部のメカニズムを完全に理解し、必要な調整を自由に実装するためです。また、SD1.5のトレーニングで使用していたスクリプトがあったため、大きな飛躍ではありませんでした。ただし、いくつかのバグのある実行の後に発生する細かい問題のデバッグに多くの時間を費やさなければなりませんでした。これらのミスはすべて「高価」でした。しかし、私にとって、ミスは学習の代償です。

私は、トレーニングプロンプトが最終モデルの実際の使用におけるパフォーマンスに非常に重要だと考えています。カスタムのDatasetクラスは、トレーニングプロンプトの生成に多くの作業を担当しています。人々は短いプロンプトから長いプロンプト、コンマやアンダースコア、タイポを含むあらゆる種類のプロンプトを使用します。

私はプロンプトを含む多数のAI画像を抽出し、ユーザーのプロンプトの統計を分析しました。プロンプトの分布はほぼ正規分布で、平均タグ数は32、標準偏差は19.8でした。したがって、私のDatasetクラスはこの分布を反映しています。各トレーニングサンプルに対して、この分布からランダムな整数を選び、そのサンプルで使用するタグ数を決定します。画像のタグをシャッフルした後、その数まで切り詰めます。

つまり、トレーニング中、モデルは「1girl」だけから224トークンの膨大なプロンプトまでをすべて見ることになります。そして、ユーザーの細部を補完する方法を学ぶはずです。

watermarkのような特定のタグは優先され、存在する限り常に含まれるため、モデルはそれらのタグを強く学習します。

danbooruのタグエイリアスリストを使用して、タグをランダムに同義語に変更することで、bigASPは人々が概念を指すさまざまな方法を理解できるようにしています。おそらく。

そして、もちろんスコアタグです。Pony XLと同様に、bigASPはトレーニングサンプルのスコアを「score_X」と「score_X_up」の形式のタグの範囲としてエンコードします。ただし、Pony XLが遭遇した問題を避けるため、トレーニングプロンプトにはランダムな数のスコアタグのみを含めます。これにより、モデルは「score_8、score_7、score_6」などのすべてのタグをプロンプトに含めなくても正しく動作するように学習されます。単一、または少数のスコアタグが存在することにすでに慣れているからです。

10％の確率でプロンプトは完全に削除され、空文字列に設定されます。UCG、ご存知の通りです。注：StabilityのトレーニングスクリプトやHuggingFaceのスクリプトでは、プロンプトを空文字列に設定するのではなく、埋め込み空間で「zero」と設定していることを発見しました。これはSD1.5のトレーニング方法とは異なり、ほとんどのSDフロントエンドの推論方法とも異なります。私の理論では、SDXLが「zero」のドロップでトレーニングされ、空プロンプトのドロップでトレーニングされると、実際には大きな問題になる可能性があります。つまり、推論時に空プロンプトを使用すると、モデルは「平均画像」からではなく、トレーニング中にキャプションが存在しなかった画像のみから逸脱するように求められることになります。それは正しくないように思えます。したがって、bigASPでは空プロンプトのドロップでトレーニングします。

さらに、Stabilityのトレーニングスクリプトでは、SDXLの他の条件付け（original_size、crop、target_size）もドロップされています。kohyaのスクリプトではこの挙動は見られなかったため、私は使用していません。それがどのような利点をもたらすのか、私には完全にはわかりません。

トレーニング中、モデルがさまざまなバッチ内のプロンプト長に遭遇するようにしました。つまり、各トレーニングサンプルのプロンプト自体は確かに長さが異なりますが、バッチ内の最も長いプロンプトに揃える必要があります。そのため、バッチ処理後もモデルがさまざまな長さのプロンプトを見続けることが重要です。そうでないと、特定のプロンプト長の範囲にのみ過剰適合してしまう可能性があります。トレーニングバッチをスキャンするための簡単なPythonノートブックを使用して、良い分布を確認しました：25％のバッチが225トークン、66％が150トークン、9％が75トークンでした。ただし、今後の実行ではこれをよりバランスよく調整してみるかもしれません。

残りのトレーニングプロセスは比較的標準的です。私の実験ではmin-snr損失が最も効果的でした。純粋なfp16トレーニングは私の環境では機能しなかったため、モデルをfp32で維持したまま混合精度を使用せざるを得ませんでした。潜在変数はすでにエンコードされているため、VAEを読み込む必要がなく、貴重なメモリを節約できます。トレーニング中のサンプル画像の生成には、別マシンを使用し、保存されたチェックポイントを取得してサンプル画像を生成します。これにより、トレーニングマシンのメモリと計算リソースを節約できます。

最終的な実行では、有効バッチサイズは2048、EMAなし、オフセットノイズなし、PyTorchのAMP（float16のみ、bfloat16ではなく）、学習率1e-4、AdamW、min-snr損失、重み減衰0.1、線形ウォームアップ100,000サンプル後のコサインアニーリング、UCG率10％、テキストエンコーダ1のトレーニングを有効化、テキストエンコーダ2は固定、min_snr_gamma=5、PyTorch GradScaler（初期スケーリング65k）、β1=0.9、β2=0.999、eps=1e-8。すべてはSDXL 1.0から初期化されています。

バリデーション用データセットには2048枚の画像を使用しました。バリデーションは50,000サンプルごとに実行し、モデルが過剰適合していないか、ハイパーパラメータ選択を支援します。異なる損失関数での実行を比較するために、バリデーションは常に基本損失関数で実行します（たとえトレーニングでmin-snrを使用していても）。500,000サンプルごとにチェックポイントを保存します。私はサンプル画像を100万ステップごとに確認するのが実際には役立つと感じたため、このプロセスは每隔チェックポイントで実行されています。

安定したトレーニング損失もログに記録しています（私はWandbを使用して実行を監視しています）。安定したトレーニング損失は、バリデーション損失と同時に計算されます（連続して）。これはバリデーションパスに似ていますが、バリデーションデータセットではなく、トレーニングデータセットの最初の2048枚の画像と固定シードを使用します。これにより、安定したトレーニング損失が得られます。SDのトレーニング損失は非常にノイジーですが、この指標はトレーニング損失の進捗をはるかに正確に示してくれます。

私が使用しているバッチサイズは、オンラインで見られるファインチューニング実行のいくつかの値と比較して非常に大きいです。しかし、これは他のモデルのトレーニング経験に基づいています。大きなバッチサイズは長期的に有利ですが、短期的には不利なため、小規模ベンチマークではその有効性を測定するのが難しいです。今回のケースでは、それが有利だったと信じています。SDXLの完全な実行は非常に高価で、多くの実験を試すことができません。しかし、大きなバッチサイズの即時的な利点の一つは、最適化と勾配同期が頻繁に発生しないため、イテレーション速度が速くなることです。

トレーニングはクラウドでレンタルした8xH100 sxm5マシンで実施しました。このマシンでは、イテレーション速度は約70画像/秒です。つまり、この実行全体は約5日間の連続計算を要しました。私のようなアマチュアにとって驚異的な数値です。ハグを送ってください。私は痛いです。

クラウドでのトレーニングを実施したことは、事前計算された潜在変数を使用する大きな動機となりました。トレーニングを開始するには、データをマシンに転送するのに約1時間かかります。理論的には、トレーニングデータを最初のパストラッキングして即座にトレーニングを開始するコードを設定できます。8xH100でも100万枚の画像を処理するのに4時間かかりますので、データはトレーニングよりも速くストリーミングできます。これにより、マシンは無駄に電力を消費せずに待機しません。

事前計算された潜在変数の欠点は、エポックごとに潜在変数を変化させることによる正則化の欠如です。モデルはエポックごとに非常に多くのプロンプトのバリエーションを見ますが、画像の異なるクロップやVAEサンプリングの変化を見ることはありません。今後の実行では、ローカルのGPUで潜在変数を継続的に再エンコードし、更新された潜在変数をクラウドマシンにストリーミングすることを検討しています。これにより、潜在変数は数エポックごとに変化します。今回の実行では過剰適合を検出しなかったため、どちらでも大きな問題ではないかもしれません。

最後に、損失曲線です。異なるデータセット間でバリデーション損失にかなり大きな分散があったため、他の人が比較するのは難しいでしょうが、参考までに：