OC LoRA Tests

duskydreamsduskydreams
223
3K
アニメキャラクターfemaleocone imagesingle image
Melita Phyllis v1.0PriscaDys_v1_33Elrisv2_loopbackKie Rose v1EnnaFol_v2EnnaFol_v1.1EnnaFol_v1.0isabellav4.0-augmentedIsabellaNornV3IsabellaNornV2IsabellaNornV1

詳細

ファイルをダウンロード

モデル説明

メリタ：

キャラクターのターンアラウンドに関するシンプルな基本テストを実施しています。メリタのデザインは非常にシンプルなので、一貫性を高めることを特に目指しておらず、ループバックテストのための基準値を確保したかっただけです。残念ながら、あまり成功しなかったため、記事を書くほどの価値はないと判断しました。今後、より複雑な詳細を持つキャラクターを設計し、より厳しいテストを行う必要があるでしょう。Illustriousでは、適切なプロンプトやアーティストキーワードを理解することがポージングに役立つようです。データセットは限られたターンアラウンドのみであるため、ポージングは非常に硬直しています。anytest CNはキャラクターに三次元的な深みを追加するのに役立ち、これはメリタのデザインが非常にシンプルであるからこそ可能だと考えています。

プリスカ

複雑なキャラクターデザインです。画像は服装に基づいて厳選されていますが、LoRAのインペイント性能は非常に優れています。ループバック使用の影響で、他のLoRAよりも過学習が進んでいます。

エルリス

今回はアクセサリー訓練、クラスタリングされたオブジェクト、およびループバックの実験のために、比較的シンプルなキャラクターデザインを用いています。

3/4/24 更新：

SDXLトレーニングによるブラインドテスト。後ほどこの件について記事を書きます。詳細は「このモデルについて」をご覧ください。

キーア推奨ウェイト：1

現在、スタイル用のデータセットを拡張するためにtxt2img ControlNetsを使用しているため、このページのタイトルを変更する必要があるかもしれません。（LoRAを使ってループバックを行いましたが、ウェイトを0.1〜0.2に設定し、効果を弱めました。LoRAなしで別の試行も行いましたが、差異はあまり顕著ではありませんでした。）拡張の詳細をご覧になりたい方は以下をご覧ください。

  • Enna LoRAは、ターンアラウンドにおけるミスがLoRAデザインにどのような影響を与えるかを確認するため、シンプルなデザインを採用しています。

について

これは、単一画像OC LoRAのテストを保存する場所です。目的は、最小限の労力で一貫性のあるキャラクターLoRAを作成することです。時間を惜しまないのであれば、このチュートリアル（私のものではありません）で一貫性のあるキャラクターを作成できます。これらの実験は、正確なLoRAを生成することよりも学習のための試みであることに注意してください。データセットが限られているため、これらのLoRAは、まだテストしていない奇妙なシナリオで过剰適合する可能性が非常に高いです。将来的にこのプロセスについて記事を書く予定です。

ウォークフローに関する記事

画像はもちろんで、adetailerと高解像度修復（AnimeSharp4x\UltraSharp4x）を用いて、ノイズ除去強度0.2～0.5で厳選されています。

イザベラのオリジナル画像はV1の2枚目です。（ベースプロンプトが役立つ可能性があります）

使用方法

V4推奨ウェイト：（0.5〜0.8）ブロックウェイトは役立ちますが、必須ではありません。

推奨ウェイト：0.6〜0.8 +（OUTDプリセット推奨のLoRAブロックウェイト；バージョン3ではブロックウェイト拡張が強く推奨されます）

Enna用：推奨ウェイト：0.8〜1（コンセプトの混在が発生した場合は低めに設定）

flat_chest、petiteなどの用語を使用して、キャラクターのプロポーションを正しく得てください。

ブロックウェイト拡張を使用すればウェイト1でも十分ですが、カスタム衣装を設定したい場合はウェイトを下げる必要があります。効果的に動作させるには、キャラクターと環境を詳細に記述した長いプロンプトが必要です。

アニメスタイルのモデルでは十分に動作するはずです。リアルまたはセミリアルなモデルには試していません。インペイントワークフローとの使用が最も適していると考えられます。

問題点

  • 色彩と衣装の一貫性の欠如

  • 顔の表情が過剰適合している

  • 髪の生え際が時折反転する

  • V2はV3よりも優れている可能性が高いです。障害に遭遇しましたが、現在の結果を公開することにしました。

トレーニング

V1

  • 1枚の全身画像＋1枚の顔クロップ画像（同一画像）

  • NovelAiでトレーニング

V2

  • V1のデータセットを再利用

  • 上半身、下半身、レギンスのクロップを追加

  • 再現回数を減らす

  • キャプションを増やす

V3

  • フリップ拡張を削除

  • V1のデータセットを再利用

  • 頭部とスカート、ブーツから首まで、前髪のクローズアップの3/4画像を追加

  • キャプションを増やす

その他

  • イザベラについては限界に達したため、今後LoRAを改善するのは難しいと見ています。kohyaSSトレーナーでさらに試せる点はいくつかありますが、大きな改善は期待していません。主な制約は、ベース画像の品質がそれほど高くなく、拡大時に画像アーチファクトが発生していることです。

V4

  • V3のデータを再利用

  • レギュラライゼーションをメインデータセットに移行し、スタイル用のトリガー単語を追加

  • txt2imgを用いてCannyおよびラインアートを使用し、リージョナルプロンプターでスタイルのためのデータセットを拡張（「alternativecostume」とタグ付け）

    • 色が最も近い画像を選択

  • スタイルと衣装用のトリガー単語を追加

  • nトークンを4に増加

  • トレーニング中はブロックウェイトを無効化

Enna

V1

  • キャラクターターンアラウンドを基に設計

  • V4と同じコンセプトを使用

V1.1

  • キャプションを増やし、トレーニングレートを1/10に低下させて小幅更新

V2

  • ビキニと下着の完全なターンアラウンドを追加

このモデルで生成された画像

画像が見つかりません。