LORA Dataset Tool v2 by Sarcastic TOFU ( Supports MacOS, Linux & Windows.. including offline run)
세부 정보
파일 다운로드
모델 설명
이 LORA 데이터셋 도구는 고급 이미지 및 캡션 데이터셋을 준비하기 위한 간단하고 통합된 독립형 애플리케이션으로 개발되었습니다. 이 도구는 기본 수준의 Apple Silicon Mac 또는 Linux 컴퓨터( NVIDIA 및 AMD GPU/eGPU 모두에서 작동하며, 8GB VRAM에서도 작동)에서 커스텀 LORA 모델(SDXL 1.0, Flux, Z-Image, Chroma 및 QWEN Image용)을 학습시키는 데 사용됩니다. 자동 캡션 생성에는 Florence-2 AI 모델을 사용하며, 리뷰 및 편집을 위한 갤러리 뷰를 제공합니다. Florence-2 모델은 일반적인 강력한 JoyCaption 모델에 비해 매우 작고 저사양 GPU에서도 잘 작동합니다. 저는 윈도우 컴퓨터를 사용하지 않기 때문에 초기에는 윈도우용 설치 스크립트를 작성하지 않았지만, LORA 데이터셋 도구는 파이썬으로 작성되었기 때문에 윈도우에서 파이썬 가상 환경을 설정하고 실행하는 방법을 알고 있다면 쉽게 실행할 수 있습니다. 그러나 최신 버전 2에서는 사용자에게 약간의 수정만으로 작동할 수 있는 샘플 윈도우 배치 스크립트를 제공했습니다(아직 테스트하지는 않았습니다). 또한 이 도구를 초기에는 CPU 전용 모드로 실행하도록 설계하지 않았지만, CPU 전용 모드로 수정하여 사용한 사용자들에 따르면 충분히 강력한 CPU와 RAM 조합이 있다면 전용 GPU 없이도 잘 작동한다고 합니다. 이 최신 버전의 도구셋에는 jazara930( https://civitai.com/user/jazara930 )이 수행한 모든 수정사항(다중 해상도 지원, 단일 이미지 분석기 등)을 포함하고 있으며, 이를 미세 조정하고 추가 개선 사항을 도입했습니다(정확한 자르기/복사/붙여넣기 팝업 메뉴, 경로 입력 필드에 폴더를 드래그하여 경로 가져오기, 대량 이미지 처리 등). LORA 데이터셋 도구 v2는 매우 직관적인 사용자 인터페이스를 제공하며, 네 개의 섹션(🛠️ LORA 데이터셋 빌더, 🔍 LORA 데이터셋 감사자, 🖼️ 단일 이미지 분석기 및 ⚙️ 대량 이미지 변환기)으로 구성되어 있으며, 각 섹션은 전용 탭을 갖습니다. 이 새로운 버전의 UI는 기존 Python TK에서 PyQT6 GUI 라이브러리로 전환하여 Linux, Mac 및 Windows에서 훨씬 더 나아지고 일관된 외관을 제공합니다. 새로운 버전은 캡션 생성 및 데이터셋 감사 성능도 향상시켰습니다. 기본적으로 Flux / Z-Image / Chroma / QWEN Image 스타일의 자연어 캡션을 사용하지만, 빠른 선택을 통해 SD / SDXL 스타일의 태그 생성 기능을 사용할 수 있습니다.
------------------------------------------------------------
1. 주요 기능 및 기능
------------------------------------------------------------
* AI 기반 캡션 생성:
초고정밀 설명을 위해 Florence-2-base-PromptGen-v1.5 사용
* 하드웨어 비종속적:
Apple Silicon(MPS), Nvidia(CUDA), AMD(ROCm)에 최적화됨. 전용 GPU가 없는 시스템에서도 실행 가능
* 초보자 친화적: 코딩 불필요 — 단순히 드래그, 드롭, 클릭만으로 사용
* 전체 워크플로우: 대량 리사이징부터 수동 캡션 감사까지 모든 작업을 하나의 창에서 수행
------------------------------------------------------------
2. 탭 살펴보기
------------------------------------------------------------
🛠️ LORA 데이터셋 빌더 (탭 1)
이것이 주 작업 공간입니다.
- 자동 캡션 생성: 이미지가 들어 있는 폴더를 지정하면 AI가 이미지에 맞는 .txt 캡션 파일을 자동 작성
- 해상도 제어: 512, 768 또는 1024px 출력 선택 가능
- 사용자 정의 태그: 모든 파일에 자동으로 "트리거 단어" 또는 "접두사"(예: "[이름] 스타일로") 추가
- 드래그 앤 드롭: 시작하려면 폴더를 경로 필드에 드래그하기만 하면 됨
🔍 LORA 데이터셋 감사자 (탭 2)
완벽주의자를 위한 정밀 제어
- 시각적 갤러리: 이미지와 캡션을 나란히 확인
- 실시간 편집: 캡션을 클릭하여 즉시 수정 가능
- 데이터셋 유효성 검사: 텍스트가 없는 이미지 또는 이미지가 없는 텍스트 파일("고아 파일")을 검사하고 손상된 파일을 식별하여 학습기 충돌 방지
- 검색 및 바꾸기: 전체 데이터셋에서 반복되는 오타를 빠르게 수정
🖼️ 단일 이미지 분석기 (탭 3)
프롬프트 엔지니어링을 위한 "빠른 미리보기" 도구
- 즉각적인 피드백: 단일 이미지를 드래그하여 AI가 어떻게 묘사하는지 확인
- 복사/붙여넣기 준비 완료: 1,000장의 대량 실행 전에 AI가 사용하는 키워드를 테스트하기에 이상적
⚙️ 대량 이미지 변환기 (탭 4)
원본 파일 준비를 위한 핵심 도구
- 형식 변환: 혼잡한 PNG, WebP, JPEG 파일을 깨끗하고 학습 준비 완료된 파일로 변환
- 스마트 리사이징: 전체 이미지 컬렉션을 몇 초 안에 일관된 해상도로 일괄 리사이징
- 간편 변환: 이미지 회전, 흑백으로 변환하여 Noir 스타일 LORA 학습에 활용
- 멀티스레딩: CPU의 모든 처리 능력을 활용하여 이미지를 병렬로 처리
------------------------------------------------------------
3. 프로젝트 폴더 구조
------------------------------------------------------------
프로젝트 폴더는 다음과 같이 구성됩니다:
LORA_Dataset_Tool_v2/
├── run_linux.sh # Linux용 시작 스크립트(CPU 또는 AMD)
├── run_mac.sh # macOS용 시작 스크립트(M2/M3)
├── run_windows.bat # Windows용 시작 스크립트
├── lora_dataset_tool.py # 주 파이썬 스크립트
│
├── venv/ ## 시작 스크립트에 의해 자동 생성 (격리된 파이썬 실행 환경)
│
├── models/ # 로컬 모델 파일 저장소
│ ├── florence/ # Florence-2 모델 파일
│ │ ├── config.json
│ │ ├── model.safetensors
│ │ └── ... (기타 florence 파일)
│ │
│ └── joycaption/ # JoyCaption 모델 파일 (아직 구현하지 않음)
│ ├── config.json
│ ├── model.safetensors
│ └── ... (기타 joycaption 파일)
│
├── dataset/ # 처리할 이미지 파일을 저장
└── output/ # 리사이징된 이미지(캡션 포함 또는 미포함)가 저장되는 위치
├── 1024_scaled/
├── 768_scaled/
├── 512_scaled/
└── transformed/ # 대량 변환된 이미지가 저장되는 위치
------------------------------------------------------------
4. 사용 방법
------------------------------------------------------------
1. 운영체제에 맞는 스크립트(run_mac.sh, run_linux.sh, 또는 run_windows.bat)로 도구를 실행
2. 이미지가 모두 다른 크기인 경우 "변환기" 탭부터 시작
3. "데이터셋 빌더"를 사용하여 AI 캡션 생성
4. "감사자" 탭을 열어 결과를 확인하고 원하지 않는 캡션은 수동으로 수정
5. 이 후, 이 도구로 생성된 고품질 데이터셋을 사용하여 고품질 LORA를 제작하고 즐기세요!
------------------------------------------------------------
5. 문제 해결
------------------------------------------------------------
* 최초 실행: 약 1.3GB의 Florence-2 모델을 다운로드하기 위해 인터넷 연결이 필요합니다. 격리된 환경을 설정하므로 다른 파이썬 프로젝트에 영향을 주지 않습니다.
* 오프라인 모드: 최초 실행 후에는 인터넷 없이도 도구를 완전히 오프라인으로 사용 가능
* NVIDIA 성능: NVIDIA GPU를 보유한 경우, 'run_linux.sh' 파일(3단계)을 수정하여 "--index-url https://download.pytorch.org/whl/cu121" 링크를 사용해 빠른 속도를 확보
* 초기화: 설치 중 문제가 발생하면 런처에 "--clean" 인수를 추가하여 환경을 재설정
------------------------------------------------------------
크레딧: AI 아트 커뮤니티를 위한 ❤️로 제작되었습니다. jazara930이 개발한 개선사항 및 기능(다중 해상도, 분석기 등) 포함.