LORA Dataset Tool v2 by Sarcastic TOFU ( Supports MacOS, Linux & Windows.. including offline run)

sarcastictofusarcastictofu
10
60
apple silicon工具prompt generatorbulk image transformerstandalone toollow gpu toolwindows toollinux toolmacos toolcaption review toolflorence-2lora dataset tool
LORA_Dataset_Tool_v2

详情

下载文件

模型描述

我开发了这个LORA数据集工具，作为一个简单、一体化的独立应用程序，旨在为训练自定义LORA模型（适用于SDXL 1.0、Flux、Z-Image、Chroma和QWEN Image）准备高质量的图像和标题数据集。该工具可在基础配置的Apple Silicon Mac或Linux电脑上运行（支持Nvidia和AMD GPU/eGPU，即使仅有8GB显存也可运行）。它使用Florence-2 AI模型进行自动标注，并提供画廊视图用于审查和编辑。相比传统的大型JoyCaption模型，Florence-2非常轻量，能在低端GPU上高效运行。由于我本人不使用Windows电脑，最初并未为Windows编写任何安装脚本，但该工具基于Python开发，若您熟悉如何在Windows上设置和运行Python虚拟环境，则同样可以轻松运行。在新版v2中，我提供了一个示例Windows批处理脚本（尚未测试），可能只需稍作调整即可工作。虽然我最初并未设计该工具支持纯CPU模式，但有用户通过调整后在仅使用CPU和充足内存的环境下成功运行，证明在拥有足够强大的CPU与内存组合时，即使没有独立显卡也能运行。在这一新版本中，我整合了jazara930（https://civitai.com/user/jazara930）所做的全部改进（如多分辨率支持、单图分析器等），并进一步优化和新增功能（如正确的剪切/复制/粘贴右键菜单、拖拽文件夹至路径输入框自动获取路径、批量图像处理等）。LORA数据集工具v2拥有极为直观的用户界面，分为四个部分（🛠️ LORA数据集构建器、🔍 LORA数据集审核器、🖼️ 单图分析器 & ⚙️ 批量图像转换器），每个部分均有独立标签页。我通过将GUI库从旧的Python Tkinter切换为PyQT6，显著提升了新版本的界面美观度与跨平台一致性（Linux、Mac、Windows均表现统一）。新版本还提升了标注生成和数据集审核的性能。默认情况下，它使用Flux/Z-Image/Chroma/QWEN Image风格的自然语言标注，但通过快速选择，您也可切换为SD/SDXL风格的标签生成模式。

  1. 主要功能与能力

  • AI驱动的标注： 使用Florence-2-base-PromptGen-v1.5生成超高精度的图像描述。

  • 硬件无关性： 优化支持Apple Silicon（MPS）、Nvidia（CUDA）和AMD（ROCm）。即使无独立显卡的系统也能运行。

  • 新手友好： 无需编程，只需拖拽、放置和点击即可操作。

  • 完整工作流： 从批量调整尺寸到手动标注审核，全部功能集成在一个窗口中。

  1. 标签页详解

🛠️ LORA数据集构建器（标签页1）

这是您的主工作台。

  • 自动标注：指向包含图像的文件夹，AI将自动生成与图像匹配的.txt标注文件。
  • 分辨率控制：可选择512、768或1024像素的输出分辨率。
  • 自定义标签：可自动为每个文件添加“触发词”或“前缀”（如“in the style of [name]”）。
  • 拖拽操作：只需将文件夹拖入路径输入框即可开始。

🔍 LORA数据集审核器（标签页2）

为追求完美者提供精准控制。

  • 视觉画廊：并排查看图像及其对应标注。
  • 实时编辑：点击任意标注即可即时修改。
  • 数据集验证：自动检测“孤儿文件”（无对应文本的图像或无对应图像的文本），并识别损坏文件，防止训练崩溃。
  • 搜索与替换：快速修正整个数据集中重复出现的拼写错误。

🖼️ 单图分析器（标签页3）

提示工程的“快速预览”工具。

  • 即时反馈：拖入单张图像，立即查看AI如何描述它。
  • 一键复制粘贴：非常适合在进行千图批量处理前，测试AI所使用的关键词。

⚙️ 批量图像转换器（标签页4）

为原始文件做预处理的强力工具。

  • 格式转换：将杂乱的PNG、WebP和JPEG文件转换为整洁、训练就绪的格式。
  • 智能缩放：数秒内将整个图像集合统一缩放至指定分辨率。
  • 简单变换：旋转图像、将彩色图像转为黑白，适用于 Noir 风格的LORA训练。
  • 多线程处理：利用全部CPU核心并行处理图像。
  1. 项目文件夹结构

您的项目文件夹组织如下：

LORA_Dataset_Tool_v2/

├── run_linux.sh # Linux启动脚本（CPU或AMD） ├── run_mac.sh # macOS启动脚本（M2/M3） ├── run_windows.bat # Windows启动脚本 ├── lora_dataset_tool.py # 主Python脚本

├── venv/ ## 由启动脚本自动创建（隔离的Python运行环境）

├── models/ # 本地模型文件主存储目录 │ ├── florence/ # Florence-2模型文件 │ │ ├── config.json │ │ ├── model.safetensors │ │ └── ...（其他florence文件） │ │ │ └── joycaption/ # JoyCaption模型文件（尚未实现） │ ├── config.json │ ├── model.safetensors │ └── ...（其他joycaption文件）

├── dataset/ # 放置待处理的图像文件 └── output/ # 缩放后图像（含或不含标注）的保存目录 ├── 1024_scaled/ ├── 768_scaled/ ├── 512_scaled/ └── transformed/ # 批量转换后图像的保存目录

  1. 使用方法
  1. 使用对应操作系统的脚本启动工具（run_mac.sh、run_linux.sh 或 run_windows.bat）。
  2. 若您的图像尺寸不一，请先从“转换器”标签页开始。
  3. 使用“数据集构建器”生成AI标注。
  4. 打开“审核器”标签页，浏览结果并手动修正不满意的内容。
  5. 完成后，使用此工具生成的高质量数据集训练您的LORA模型，尽情享受吧！
  1. 故障排除
  • 首次运行：需要联网下载约1.3GB的Florence-2模型。工具会自动创建隔离环境，不影响您其他Python项目。
  • 离线模式：首次运行后，可完全离线使用本工具。
  • NVIDIA性能优化：若您使用NVIDIA显卡，请编辑‘run_linux.sh’（第3步），使用“--index-url https://download.pytorch.org/whl/cu121”链接以获得闪电速度。
  • 清理重启：若安装过程中出现错误，可使用“--clean”参数运行启动脚本以重置环境。

致谢：本工具由❤️为AI艺术社区打造。包含jazara930贡献的改进与功能（多分辨率、单图分析器等）。

此模型生成的图像

未找到图像。