War and Diffusion: WARHAMMER 40K

遠い未来の暗黒と絶望の中には、戦争しかなく……そして拡散しかない。

NSFWアニメ版はこちらこちら

序文

War and Diffusion（WnD）は、私のWarhammer 40,000ファインチューニングプロジェクトの最初のリリースです。

v1はサンプルモデルです。

このリリース（WnD-v1）は、フルデータセットの一部（半分未満）で学習されました。フルモデルは多くの変更を経ており、現在も学習を継続中です。

サンプルモデルには制限がありますが、SDXLファインチューニングエコシステムに十分なファインチューニングモデルが不足しているため、モデルのマージ可能性が限られている現状を補うため、公開することにしました。

コーヒーを一杯おごってください ❤

https://ko-fi.com/ndimensional

すべての寄付は、新しいStable DiffusionファインチューニングとオープンソースAIツールの開発に充てられます。

概要

ベースモデル： SDXL-v1.0

データセット： フルWH40Kデータセットの約1/4に相当するサブセット。キャプションは、私が開発中のMLLM（GPT-4v/oではない）システムによって生成され、その後人間による評価と、私が開発中の幻覚検出プロジェクトによって評価されました。

VAE： sdxl-vae-fp16-fix

アスペクト比： 一般的な推奨値（すべてのリストではありません）

1344x768 (16:9)
1536x640 (21:9)
1152x896 (4:3)
1216x832 (3:2)
1024x1024 (1:1)
1024x704 (11:16)
768x1344 (9:16)
896x1152 (3:4)
832x1216 (2:3)
704x1024 (16:11)

学習用ハードウェア： A100アクセラレーター2台

既知の制限：

WnD-v1は、フルリリースほど優れていないですが、40K特有の概念の大部分を学習しました。

注意： サンプルモデルに含まれるべきいくつかの概念が欠落しています。これは、学習用サブセットを作成する際、データセットの古いバージョンを指し示すという私のミスによるものです。幸い、私が知っている2つの欠落概念については、LoRAが既に公開されています：Aeldari、Necron。

今後数週間で、最新のデータセットを用いて、新しくファインチューニングをやり直します。

プロンプトの書き方

自然言語プロンプト、タグプロンプト、ハイブリッドプロンプトのすべてをサポートしています。

ヒント：

生成したいメディア（例：デジタルイラスト、絵画、写真など）からプロンプトを始めてください。
使用したデータセットのバージョンには、キャプションでSkullという単語が過剰に使用されていたという欠陥がありました。このため、skullおよびskullsトークンへの注目/強調を減らすことをお勧めします。例：[[skull]]。この問題は、以降のデータセットバージョンで修正されており、今後のリリースでは発生しません。
同様に、WnD-v1はフルデータセットの小さなサンプルで学習されたため、一部の概念の細部が十分に学習されていません。たとえば、Death Korps of Kriegとgasmaskというプロンプトでは、Kriegの兵士は生成されても、ガスマスクが正しくない場合があります。この問題に対処するには、該当するトークンの注目度を上げたり下げたり、あるいはトークンを削除してみてください。場合によっては、モデルがその概念を十分に学習しているため、追加のトークンは冗長になることがあります。これは今後のリリースでは問題にならなくなります。
複数のキャラクターを描写する際は、それぞれの相対的な位置関係と外見を別々に記述してください。例：「Our Martyred Ladyの修道女とBlood Ravens章のスペースマリーンのイラスト。修道女はスペースマリーンの左に立っている。彼女は<修道女の詳細説明>。スペースマリーンは<スペースマリーンの詳細説明>」。そして、指を組んで祈る。
- タグプロンプトは少し難しいです。私は次世代のデータセットでこの問題の解決策を考案しました。現在のところ、1番目のキャラクタートークンを入力し、その後に1番目のキャラクターを説明するタグを続けて入力してください。続いて2番目のキャラクタートークンを入力し、その後に2番目のキャラクターを説明するタグを続けます。例：Illustration, Sister of Battle, 黒いSororitasパワーアーマー、短い髪、ボルトガン、およびSpace Marine、Blood Ravens章、ダークレッドのパワーアーマーに黒とクリーム色のパウルドロン、ヘビーボルター、など
画像の構図については、プロンプトの最後の方に構図の説明を加えてください。これは自然言語（やや少ない）、タグ、ハイブリッドプロンプトの両方に適用されます。
アーティストタグを使用する場合は、プロンプトの最下部にアーティストトークンを配置してください。