LORA Dataset Tool v2 by Sarcastic TOFU ( Supports MacOS, Linux & Windows.. including offline run)
詳細
ファイルをダウンロード
モデル説明
私はこのLORAデータセットツールを、カスタムLORAモデル（SDXL 1.0、Flux、Z-Image、Chroma、QWEN Image用）のトレーニングに高品質な画像とキャプションデータセットを準備するためのシンプルですべてを統合したスタンドアロンアプリケーションとして開発しました。これは、ベースレベルのApple Silicon MacやLinuxコンピュータ（NVIDIAおよびAMDのGPU/eGPU両方で動作、8GB VRAMでも可能）上で動作します。自動キャプション生成にはFlorence-2 AIモデルを使用し、ギャラリービューで確認・編集が可能です。Florence-2モデルは、通常の高性能なJoyCaptionモデルと比較して非常にコンパクトで、低性能GPUでも十分に動作します。私はWindowsコンピュータを使用していないため、当初はWindows用のセットアップスクリプトを用意していませんでしたが、このLORAデータセットツールはPythonで記述されているため、WindowsでPython仮想環境を設定・実行できる知識があれば簡単に実行できます。しかし、新しいバージョン2では、少し調整すれば動作する可能性のあるサンプルWindowsバッチスクリプト（まだテストしていません）を提供しました。また、このツールをCPUオンリーで動作させる意図は当初ありませんでしたが、CPUオンリーで調整して使用したユーザーによると、十分なCPUとRAMの組み合わせがあれば、専用GPUがなくても動作するとのことでした。この新しいバージョンでは、jazara930（https://civitai.com/user/jazara930）が行なったすべての改良（マルチ解像度対応、単一画像分析機能など）を組み込み、さらに微調整し、いくつかの追加改善を施しました（適切な切り取り・コピー・貼り付け用ポップアップメニュー、パス入力フィールドへのフォルダドラッグ、一括画像処理など）。LORAデータセットツールv2は非常に直感的なユーザーインターフェースを備えており、4つのセクション（🛠️ LORAデータセットビルダー、🔍 LORAデータセットオーディター、🖼️ 単一画像分析ツール、⚙️ 一括画像変換ツール）それぞれに専用のタブが用意されています。この新バージョンのUIは、古いPython TKからPyQT6 GUIライブラリに切り替えたことで、Linux、Mac、Windows間ではるかに美しく一貫性のある外観になりました。また、キャプション生成とデータセット監査のパフォーマンスも大幅に向上しました。デフォルトではFlux/Z-Image/Chroma/QWEN Imageスタイルの自然言語キャプションを使用しますが、簡単な選択でSD/SDXLスタイルのタグ生成機能にも切り替えられます。
------------------------------------------------------------
1. 主な機能と能力
------------------------------------------------------------
* AI駆動のキャプション生成：
超正確な説明を実現するFlorence-2-base-PromptGen-v1.5を使用。
* ハードウェア非依存：
Apple Silicon（MPS）、NVIDIA（CUDA）、AMD（ROCm）に最適化。専用GPUがなくても動作。
* 初心者向け：
コーディング不要。ドラッグ＆ドロップ＆クリックだけで利用可能。
* 完全なワークフロー：
一括リサイズから手動キャプション監査まで、すべて1つのウィンドウで実行。
------------------------------------------------------------
2. タブの使い方
------------------------------------------------------------
🛠️ LORAデータセットビルダー（タブ1）
メインワークステーションです。
- 自動キャプション生成：画像が入ったフォルダを指定すると、AIが画像に合った.txtキャプションファイルを自動作成。
- 解像度制御：512、768、または1024pxの出力解像度を選択可能。
- カスタムタグ：すべてのファイルに自動的に「トリガー語」または「プレフィックス」（例："[name]のスタイルで"）を追加。
- ドラッグ＆ドロップ：パスフィールドにフォルダをドラッグするだけで開始できます。
🔍 LORAデータセットオーディター（タブ2）
完璧を求める人のための精密制御。
- ギャラリービュー：画像とキャプションを横並びで確認。
- リアルタイム編集：キャプションをクリックすれば即座に編集可能。
- データセット検証：「孤立ファイル」（テキストのない画像、画像のないテキスト）や破損ファイルを検出し、トレーナーのクラッシュを防ぎます。
- 検索と置換：データセット全体で繰り返されるタイポを素早く修正。
🖼️ 単一画像分析ツール（タブ3）
プロンプトエンジニアリングのための「クイックルック」ツール。
- 即時フィードバック：単一の画像をドラッグして、AIがどのように説明するかを即座に確認。
- コピー＆ペースト対応：1,000枚の一括処理前にAIが使用するキーワードをテストするのに最適。
⚙️ 一括画像変換ツール（タブ4）
生データを準備するための主力ツール。
- フォーマット変換：乱雑なPNG、WebP、JPEGをクリーンでトレーニング対応のファイルに変換。
- スマートリサイズ：全画像を数秒で一括して均一な解像度にリサイズ。
- 簡単な変換：画像の回転、モノクロ変換（ノワールスタイルのLORAトレーニング向け）。
- マルチスレッド処理：CPUの全リソースを活用して画像を並列処理。
------------------------------------------------------------
3. プロジェクトフォルダ構成
------------------------------------------------------------
あなたのプロジェクトフォルダは以下のようになっています：
LORA_Dataset_Tool_v2/
├── run_linux.sh # Linux（CPUまたはAMD）用起動スクリプト
├── run_mac.sh # macOS（M2/M3）用起動スクリプト
├── run_windows.bat # Windows用起動スクリプト
├── lora_dataset_tool.py # 主要なPythonスクリプト
│
├── venv/ ## 起動スクリプトにより自動作成（分離型Python実行環境）
│
├── models/ # ローカルモデルファイルの格納場所
│ ├── florence/ # Florence-2モデルファイル
│ │ ├── config.json
│ │ ├── model.safetensors
│ │ └── ...（その他のflorenceファイル）
│ │
│ └── joycaption/ # JoyCaptionモデルファイル（まだ実装していません）
│ ├── config.json
│ ├── model.safetensors
│ └── ...（その他のjoycaptionファイル）
│
├── dataset/ # 処理する画像を配置
└── output/ # スケーリングされた画像（キャプション有無にかかわらず）の保存先
├── 1024_scaled/
├── 768_scaled/
├── 512_scaled/
└── transformed/ # 一括変換された画像の保存先
------------------------------------------------------------
4. 使用方法
------------------------------------------------------------
1. OSに応じたスクリプト（run_mac.sh、run_linux.sh、またはrun_windows.bat）でツールを起動。
2. すべての画像のサイズが異なる場合は、「変換ツール」タブから開始。
3. 「データセットビルダー」でAIキャプションを生成。
4. 「オーディター」タブを開き、結果を確認し、気に入らないキャプションを手動で修正。
5. その後、このツールで作成した高品質データセットを使って、高品質なLORAを生成し、お楽しみください！
------------------------------------------------------------
5. 問題解決
------------------------------------------------------------
* 初回実行：約1.3GBのFlorence-2モデルをダウンロードするため、インターネット接続が必要です。分離型環境を構築するため、他のPythonプロジェクトに影響を与えません。
* オフラインモード：初回実行後は、完全にオフラインで使用可能です。
* NVIDIA利用時：NVIDIA GPUをお使いの場合は、「run_linux.sh」（ステップ3）を編集し、"--index-url https://download.pytorch.org/whl/cu121"リンクを使用して高速化してください。
* クリーンスタート：インストール中に問題が発生した場合は、起動スクリプトに"--clean"引数を付けて実行し、環境をリセットしてください。
------------------------------------------------------------
クレジット：AIアートコミュニティのために心を込めて構築。jazara930による改良・機能（マルチ解像度、分析ツールなど）を含んでいます。