Lora Lab: Press Start, Auto Gen, Auto Label, Auto Compile

詳細

ファイルをダウンロード

モデル説明

3ステップ自動LoRA

  1. バッチ数を設定し、[実行]をクリックして、自動キャプション付きの数百枚の高解像度画像を生成してください!

  2. これらを統合されたフォルダに自動保存します。

  3. LoRAトレーナーに渡してください!

Auto MEDをお勧めします。完全自動で、手動でのパッキングは不要、精度の低下もほとんどありません。

Semi-Auto HIは、キャプション品質をわずかに向上させたい方のために、より多くの手動操作が可能です。

Auto LOは、VRAMが少ないGPUをお持ちの方向けです。1つのksamplerモデルと1つのインタープリターモデル(Florence-BasicまたはLarge)をロードする必要があります。

https://github.com/anyantudre/Florence-2-Vision-Language-Model

実行バージョン

____________________VRAM ______ ACCURACY _____ MANUAL WORK

Semi-Auto HI _________HI_____________HI______________ HI

Auto MED ____________HI-___________HI-_____________LOW

Auto LO ____________MED__________MED_____________LOW

SemiAuto HI: 2つの推論モデルを使用することでプロンプトの精度が向上しますが、フォルダの手動統合と各画像に最適なプロンプトの選択が必要です。ダブルフェイスリファイナーとリファイナーベースモデルに4倍アップスケールを適用すると、高精細で高精度な結果が得られます。

Auto MED: 単一の推論モデルを使用することで、自動コンパイルが可能で、手動でのパッケージ作成は不要です。ただし、自動プロンプトの精度がわずかに低下します(個人的には目に見えるほどではありません)。ダブルフェイスリファイナーとリファイナーベースモデルに4倍アップスケールを適用すると、高精細で高精度な結果が得られます。

Auto LO: 単一の推論モデルを使用することで、自動コンパイルが可能で、手動でのパッケージ作成は不要です。ただし、自動プロンプトの精度がわずかに低下します(個人的には目に見えるほどではありません)。フェイスリファイナーとリファイナーベースモデルを省略し、2倍アップスケールを適用すると、中程度の精細さと精度の結果が得られます。

プロンプトバケットに内容を入力する際、カンマの間にスペースを入れないでください。

(trait1,trait2,trait3)

動作原理(Semi-Auto HI):

ワークフローロジック

実際の画像例

ワークフロープロンプトバケット

ワークフローリザルト1(ランダムプロンプト、ランダムオリエンテーション、FlorenceとMAIの結果)

ワークフローリザルト2(ランダムプロンプト、ランダムオリエンテーション、FlorenceとMAIの結果)

Henry画像 + 最適なプロンプト = Auto LoRAデータ

LoRAトレーニング画像保存先:/output/train/image/

LoRAテキスト保存先:/output/text/Florence および /output/text/MAI

アップスケール済み画像保存先:/output/train/source/

システム仕様:

このワークフローは、デフォルトで高VRAM向けに設計されています。

十分な需要があれば、中VRAMおよび低VRAM版も作成します。

高VRAM: 大きなモデルと可能な限りfp16/sdpaを使用してください。

低VRAM: ベースモデルと可能な限りfp8/フラッシュアテンションを使用し、リファイナー、アップスケール、ディテイラーをスキップしてください(リワイヤリングが難しい場合があります)。

前提条件:

必須のカスタムノード:rgthree, easy-use, impact pack, impact subpack, florence 2, MiaoshouAI, basic math, was ns, Crystools, kj nodes, StringOps(開発者の方々、ありがとうございます!)

ワークフローを開くと、ComfyUI-Managerが不足しているノードを通知します。

「不足しているノードをインストール」をクリックし、ComfyUIを再起動してブラウザを更新してください。

それでも不足しているノードがある場合は、Managerウィンドウのカスタムノードメニューで検索してください。

また、フラッシュアテンションのインストールも必要でした。

最も簡単な方法は、コマンドプロンプトでnvidia-smiを実行してCUDAバージョンを確認し、以下のサイトから対応する事前ビルドされたwhlファイルをダウンロードすることです:https://github.com/mjun0812/flash-attention-prebuild-wheels?tab=readme-ov-file

このモデルで生成された画像

画像が見つかりません。