XL Clothturn Helper XL

詳細

ファイルをダウンロード

モデル説明

!!!クロス転送ヘルパー1.5で生成された画像をCanny入力として約0.3の重みで使用すると、品質が大幅に向上し、SDXLのプロンプト理解の向上を十分に活用できます!!!(ほとんどのショーケース画像と同じように、プロンプトと結果を比較してみてください。素晴らしいです!これらの結果をマージしてLoRAを後でトレーニングして簡略化します~)

*すべてのいいね、コメント、投稿が、私のさらなる活動を支えてくれます!!

プロジェクトファイル(.blend)は私のPatreonでご確認いただけます:Chamber | ゲーム・アート制作 | Patreon。サブスクリプションは、さらなるアップデートや新作の制作をサポートしてくれます~

今後の計画、近日公開予定:

- [ ] 3Dモデルレンダリングテストからさらに多くのデータ(約100枚)(改善があれば投稿します)
- [ ] ステップ数のテスト(約5000)(改善があれば投稿します)

- [ ] より良いタグとプロンプトテスト(ワイルドカードを含む)(改善があれば投稿します)
- [ ] Charturn(他者のターンテーブルも含む)をSDXL/SD1.5用に最適化
- [ ] Charturn(他者のターンテーブルも含む)SD1.5とSDXL両方用リミックス版、
約60枚の選定生成画像を基に、出力をより美しくする試み(改善があれば投稿します)
これは現在の20~50枚の3Dモデルレンダリング画像を基にしたマルチビュー補正版に関連します
- [ ] Charturnの年齢/体型/身長/スーツ輪郭/顔制御テスト(改善があれば投稿します)
- [ ] 私のLoRA/モデルは公開しますが、トレーニング・生成ツール・ワークフローはPatreonでのみ公開します

XL CKPT/LoRAを試して、手・掌・指、髪・ヘルメット・マスク、衣装の制御性、量、一貫性を向上させようとしました。
これらは一部改善が見られ、上記のサンプルから感じ取れるはずです。
私が最も感じた改善点は、プロンプトの理解が向上したこと——たとえば特定の衣装やキャラクターに対して、プロンプトの詳細で出力をより正確に制御できるようになったことです。

しかし、トレーニングとテストを経て、私はSDXLには現時点(2024年3月22日)でいくつかの課題があると考えています:

  • 主な問題:SD1.5と同等の品質を実現するための優れたXLチェックポイントやXL LoRAが十分に不足しています。
    スタイルオフセットのようなデザインツールとしても、ベース/美化モデルとしての美しさのレベルでもです。

  • OpenPoseコントローラーのXL版は、SD1.5版ほど優れていない。

  • トレーニング・生成が遅く、困難(15361024を19201024にアップスケールし、ADetailerで4つの顔を有効化すると4~5分かかる。手の改善があればより良い結果が出るが、ADetailerに10枚以上の掌を追加すると極端に遅くなる)。
    一方、軽量バージョンは速いが、今のところ私の求める品質には達していない。

私はXLチェックポイントに詳しくなく、現在のトレーニングコストは高すぎると感じます。そのため、他の優れたクリエイターを応援し、より良い結果を待つことにします。
より多くのXL LoRAツールについては、後で調査・試行します。

良いお知らせ:RTX 4080搭載ノートPC(12GB VRAM)でも、いくつかの設定とkohya_ssの更新後、XL LoRAのトレーニングが可能です!

!!! 同じような結果を得たい場合
上記の生画像サンプルで使われたほぼすべての生成・サンプル設定を繰り返してください
ControlNet(OpenPose)と他の人のLoRAも含めてです。
異なる追加LoRA/TIにはそれぞれ独自の効果があるため、目的に合うよう追加・削除してテストしてください。

以下は、私の新しいワークフロー、AI駆動デザイン、テクスチャ(カメラベース投影)ツール用にトレーニングしたLoRAの一つです

SD XL用:

Clothturn Helper XL - v1.0 | Stable Diffusion LoRA | Civitai

Charturn Helper Merged XL - v1.0 | Stable Diffusion LoRA | Civitai

SD 1.5用:

- Charturn Helper Merged - v4.0 | Stable Diffusion LoRA | Civitai
- Bodyturn Helper - v3.0 | Stable Diffusion LoRA | Civitai
- Faceturn Helper - v2.0 | Stable Diffusion LoRA | Civitai
- Hairturn Helper - v1.0 | Stable Diffusion LoRA | Civitai
- Clothturn Helper - v1.0 | Stable Diffusion LoRA | Civitai
- Mechturn / Armorturn Helper - v1.0 | Stable Diffusion LoRA | Civitai
- Sword Gen - v1.0 | Stable Diffusion LoRA | Civitai

これらは、将来的にBlender上の私のキャラクターライブラリと最高の相性を発揮します。
3Dモデルのメッシュ形状編集ガイド、自動テクスチャ・シェーディング、ウェイトペイントなどを含みます~
主に、自分自身のゲーム開発用アセット作成を目的として設計されており、私と同じ独立開発者の方々にも役立つはずです。

個人的推奨チェックポイント(現在のテストではSDXL用に1つだけ適切なもの):
AbyssOrange XL Else - v1.0 | Stable Diffusion Checkpoint | Civitai

また、トレーニングデータは、その約30%が私が以前に作成・公開したアートワークからレンダリングしたもの(3Dモデル by ChamberSu1996 - Sketchfab)、残りはインターネットで購入・収集したものです:TrainDataPack.zip
この初期・テスト版では、各LoRAは20~50枚程度の小さなデータセットでトレーニングされていますが、すでに大きな効果を発揮しています。

私が作成するすべてのLoRAのkohya_ssトレーニング設定は、データ、画像サイズ、エポックのみを変更し、その他の設定はすべて同じです(XLオプションを有効化):ToonHairTurn_v1.json
(私は現在トレーニングに詳しくないため、今回は各ステップ・機能を動かすことを最優先し、設定を可能な限りシンプル・デフォルトに保ちました。
今後、適切なデータ、タグ、トレーニング設定について学び、自分のアートワークレンダリング画像のみを使ってより良いLoRAをトレーニングし、オープン利用を保証しながら自分のスタイル・嗜好に沿ったものを作成します。)

Civitaiのダイナミックプロンプトとワイルドカードを追加して、無限の異なる結果を得られるようにしてください。
GeminiやChat GPTを使ってプロンプトワイルドカードを生成してテストするのも効果的です。

何か質問や興味のある点があれば、コメントやメールでいつでもお気軽にご連絡ください:[email protected]

また、Discordチャンネルもご用意しています:
https://discord.gg/SFJFcctfgD

すべてのいいね、コメント、投稿、Patreon Chamber | ゲーム・アート制作 | Patreon のサブスクリプションは、さらなるアップデート、新作の制作、公開のための資金を支援してくれます。

このモデルで生成された画像

画像が見つかりません。