Myne Factory Base Model

私たちのモデルの基盤

技術的詳細

モデル学習

MyneFactoryBaseは、Yande.re から約18,000件の高スコアサンプルと、Konachanから約5,000件の高スコアサンプルを用いて学習されました。ファイルのキャプションは、トレーニングデータ内のオブジェクトを最大限に識別できるようにするため、WD1.4タグラーを3回繰り返し適用して生成しました。その後、閾値を低くして短いキャプションを生成する目的で、1つのタグラーを用いて2回目のキャプション処理を実施しました。最適化にはAdamを利用し、手動で設定された最大学習率とコサイン・デキャイを使用しました。バッチサイズ4、RTX 4090を用いて学習を実施し、DDIMサンプルスケジューラーとDDPMノイズスケジューラー、混合精度を活用しました。

テキストエンコーダー学習

テキストエンコーダーは、トレーニング時間の50%の期間にわたってトレーニングされ、10エポックごとにフリーズ・アンフリーズを繰り返しました。ファインチューニングの最終20エポックでは、TEがフリーズされました。

ブロックマージ

エポック20の時点で、BasilMixを用いたブロックマージを実施しましたが、マージされた重みがすぐにトレーニングされており、トレーニング終了時には完全にトレーニングデータへと戻ってしまったことが明らかになりました。最終的に、リリース版ではブロックマージを使用せず、元のモデルのままとした決定がなされました。

トレーニングプロセスおよびモデルアーキテクチャに関する詳細な技術情報については、こちらのドキュメントをご参照ください。

作者： 金Goldkoron, tsmkirby, Juusoz

質問がある場合は、私たちのDiscordコミュニティへお越しください。

プロンプト形式

プロンプトには、Booru形式のタグを使用することをお勧めします。

例： woman, decorated horns, long robes, fog, long curly hair, freckles, solo, masterpiece, reflective, depth of field, caustics, detailed night, forest, leaves, moonlight, eyes, orange hair, green eyes, vines

例： 1girl, solo, skirt, book, glasses, long hair, looking at viewer, bookshelf, jacket, plaid skirt, school uniform, long sleeves, parted lips, semi-rimless eyewear, bangs, blush, holding, blazer, indoors, sweater, under-rim eyewear, red-framed eyewear, holding book, brown eyes, library, sitting

これらのタグは、データセット用に WD14タガラー で生成されました。

このモデルはまた、短いプロンプトの処理に優れるようにファインチューニングされています。

推奨される設定

以下の設定で最も良い結果が得られます：

• 画像サイズ

  1024x576（ワイド 16:9）、768x768（スクエア）、640x1024（タテ）

  推奨解像度より高い解像度でも試すことができます。Juusozはすべての例を推奨解像度よりも高い解像度で作成しています。

• Vae

  vae-ft-mse-840000-ema-pruned.ckpt

• サンプラー

  DPM++ SDE Karras（推奨）

  2S Karras

  Karrasサンプラーは、よりダイナミックで魅力的な生成を生み出しやすい傾向があります。

  Euler A

  出力結果は滑らかで、アービュッシュ加工された見た目になります。

• ステップ数

  30が最低限で、+70でも良い結果が得られます。

• Clip スキップ：

  Clip 1

  Clip 2およびClip 4も実験には有効です。より多様な出力を得たい場合は、試してみてください。

• CFG

  9–12

• 必須ではありませんが、以下のタグを追加すると画像の品質が向上します：

  プロンプト： best quality, masterpiece

  ネガティブプロンプト： lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry

SNS情報

ウェブサイト | Discord | Patreon