LORA Data Tool - Builder & Auditor for Linux & Mac by Sarcastic TOFU

我开发了这款LORA数据工具，它是一个简单、一体化的独立应用程序，专为准备高质量图像和标题数据集而设计，用于在基础级别的Apple Silicon Mac或Linux电脑上训练自定义LORA模型（适用于SDXL 1.0、Flux、Z-Image、Chroma和QWEN Image）。该工具在NVIDIA和AMD GPU/eGPU上均可运行，甚至8GB显存也能胜任。它使用Florence-2 AI模型进行自动标题生成，并提供画廊视图用于审查和编辑。与常规功能强大的JoyCaption模型相比，Florence-2模型非常轻量，能在低端GPU上良好运行。由于我从不使用Windows电脑，因此未为Windows提供安装脚本，但该LORA数据工具使用Python编写，若您熟悉如何在Windows上设置和运行Python虚拟环境，也可轻松在Windows上运行。

该工具界面简洁易用，分为两个部分（数据构建器 & 数据审核器），每部分均有独立标签页。您可以直接复制包含待处理图像的文件夹路径，或使用内置的文件浏览与选择界面，在相应标签页启动处理流程。以下是这两个标签页：

I. 数据构建器（自动化）

---------------------------

用于批量处理数据集的主要标签页。

主要功能：

- 图像缩放：将图像调整至最短边为1024像素，新图像保存至名为‘1024_scaled’的子文件夹中。

- 标题生成：使用Florence-2 AI模型为每张图像自动生成详细标题（保存为.txt文件）。

- 标题风格：支持短、中、长（Civitai Max）三种标题风格。

- 批量触发词：在所有生成或已有的标题开头或末尾添加指定的触发词。

- 批量查找与替换：在所有标题文件中，将指定搜索词替换为替换词。

II. 数据审核器（审查）

--------------------------

用于审查和手动调整训练数据的质量控制标签页，因为AI生成的标题虽优秀，但并非总是准确。

主要功能：

- 分页画廊：分批加载并显示图像及其对应标题（每页10项）。

- 实时编辑：允许在图像预览旁直接编辑标题文本。

- 保存：保存当前页面的编辑后标题。

- 删除：永久删除图像及其对应的标题文件。

III. 设置与启动（默认AMD GPU Linux设置或Apple Silicon Mac - M2、M4等）

----------------------------------------------------------------------------------------

该工具依赖‘run_linux.sh’或‘run_mac.sh’脚本进行环境和模型管理。

1. 启动：运行适用于您操作系统的脚本。

2. 依赖项：脚本将自动创建Python虚拟环境（‘venv’）并安装所需库（如transformers等）。

3. 模型：首次运行时，脚本会将‘MiaoshouAI/Florence-2-base-PromptGen-v1.5’模型（约1.3GB）下载至‘model’子文件夹中。

4. 清理操作：若要移除环境和模型，请使用‘--clean’参数运行脚本：

- Linux: ./run_linux.sh --clean

- macOS: ./run_mac.sh --clean

** NVIDIA / CUDA 设置（Linux）修改（非常重要 - 无此操作将导致设置失败）

------------------------------------------------------------------------------------------------

默认情况下，‘run_linux.sh’配置为AMD（ROCm）环境。若要使用NVIDIA GPU：

1. 用文本编辑器打开‘run_linux.sh’。

2. 找到安装torch的行（通常为第3步）。

3. 将pip3 install命令替换为以下内容：

pip3 install torch torchvision --index-url https://download.pytorch.org/whl/cu121

4. 保存文件并运行脚本，这将确保工具使用您的NVIDIA GPU进行闪电般的标题生成。

5. 清理操作：若要移除环境和模型，请使用‘--clean’参数运行脚本：

- Linux: ./run_linux.sh --clean

** 作为示例，我还提供了60张免版权的Unsplash图像作为免费样本数据集，供您测试本工具的功能。若您正在寻找高质量未标注数据集用于训练，但苦于难以自行收集，也可访问我的CivitAI个人主页（https://civitai.com/user/sarcastictofu），我已上传了一些不错的数据集，欢迎免费下载。若您喜欢我的作品，请给我一些关注与支持！