LORA Data Tool - Builder & Auditor for Linux & Mac by Sarcastic TOFU

저는 이 LORA 데이터 도구를 단순하고 모든 기능을 통합한 독립형 애플리케이션으로 개발했습니다. 이 도구는 기본 수준의 Apple Silicon Mac 또는 Linux 컴퓨터( Nvidia 및 AMD GPU/eGPU 모두에서 작동하며, 심지어 8GB VRAM에서도 작동)에서 사용자 정의 LORA 모델(SDXL 1.0, Flux, Z-Image, Chroma 및 QWEN Image용)을 학습시키기 위한 고품질 이미지 및 캡션 데이터셋을 준비하는 데 사용됩니다. 이 도구는 Florence-2 AI 모델을 사용하여 자동 캡션을 생성하고, 리뷰 및 편집을 위한 갤러리 뷰를 제공합니다. Florence-2 모델은 일반적인 고성능 JoyCaption 모델에 비해 매우 컴팩트하며 저사양 GPU에서도 잘 작동합니다. 저는 윈도우 컴퓨터를 사용하지 않기 때문에 윈도우용 설치 스크립트를 만들지 않았지만, LORA 데이터 도구는 파이썬으로 작성되었으므로 윈도우에서 파이썬 가상 환경을 설정하고 실행하는 방법을 알고 있다면 쉽게 윈도우에서도 실행할 수 있습니다. 이 도구는 매우 직관적인 사용자 인터페이스를 제공하며, 두 개의 섹션(데이터셋 빌더 및 데이터셋 감사)으로 구성되어 있으며, 각 섹션은 전용 탭을 갖습니다. 처리하고자 하는 이미지가 들어 있는 폴더의 경로를 복사하거나, 내장된 파일 탐색 및 선택 UI를 사용하여 관련 탭에서 프로세스를 시작할 수 있습니다. 아래는 두 개의 탭입니다.

I. 데이터 빌더 (자동화)

---------------------------

데이터셋을 일괄 처리하는 주 탭입니다.

주요 기능:

- 이미지 크기 조정: 이미지의 가장 짧은 변을 1024픽셀로 조정합니다. 새 이미지는 '1024_scaled'이라는 하위 폴더에 저장됩니다.

- 캡션 생성: Florence-2 AI 모델을 사용하여 각 이미지에 대한 자세한 캡션을 자동 생성합니다(.txt 파일로 저장).

- 캡션 스타일: 짧음, 중간, 긴(Civitai Max) 캡션 스타일을 지원합니다.

- 일괄 트리거 단어 추가: 생성되거나 기존 캡션의 시작 또는 끝에 지정된 트리거 단어를 추가합니다.

- 일괄 검색 및 교체: 모든 캡션 파일에서 검색어를 지정된 대체어로 교체합니다.

II. 데이터 감사 (리뷰)

--------------------------

AI 캡션 생성은 매우 우수하지만 항상 정확하지 않기 때문에, 학습 데이터를 검토하고 수동으로 조정하는 품질 관리 탭입니다.

주요 기능:

- 페이지 기반 갤러리: 이미지와 해당 캡션을 일괄적으로 로드하고 표시합니다(페이지당 10개 항목).

- 실시간 편집: 이미지 미리보기 옆에서 캡션 텍스트를 직접 편집할 수 있습니다.

- 저장: 현재 페이지의 편집된 캡션을 저장합니다.

- 삭제: 이미지와 해당 캡션 파일을 영구적으로 삭제합니다.

III. 설정 및 실행 (기본 AMD GPU Linux 설정 또는 Apple Silicon Mac - M2, M4 등)

----------------------------------------------------------------------------------------

이 도구는 환경 및 모델 관리를 위해 'run_linux.sh' 또는 'run_mac.sh' 스크립트를 사용합니다.

1. 실행: 사용 중인 운영체제에 맞는 스크립트를 실행합니다.

2. 종속성: 스크립트는 자동으로 파이썬 가상 환경('venv')을 생성하고 필요한 라이브러리(transformers 등)를 설치합니다.

3. 모델: 첫 실행 시 스크립트는 'MiaoshouAI/Florence-2-base-PromptGen-v1.5' 모델(~1.3GB)을 'model' 하위 폴더에 다운로드합니다.

4. 정리 작업: 환경과 모델을 제거하려면 스크립트에 '--clean' 인수를 사용하여 실행합니다:

- Linux: ./run_linux.sh --clean

- macOS: ./run_mac.sh --clean

** NVIDIA / CUDA 설정 (Linux) 수정사항 (매우 중요 - 이 설정을 하지 않으면 설치가 실패합니다)

------------------------------------------------------------------------------------------------

기본적으로 'run_linux.sh'는 AMD(ROCm)용으로 구성되어 있습니다. NVIDIA GPU를 사용하려면:

1. 텍스트 편집기에서 'run_linux.sh'를 엽니다.

2. torch를 설치하는 줄(일반적으로 Step 3)을 찾습니다.

3. pip3 install 명령을 다음으로 교체합니다:

pip3 install torch torchvision --index-url https://download.pytorch.org/whl/cu121

4. 파일을 저장하고 실행합니다. 이로 인해 도구는 빠른 캡션 생성을 위해 NVIDIA GPU를 사용하게 됩니다.

5. 정리 작업: 환경과 모델을 제거하려면 스크립트에 '--clean' 인수를 사용하여 실행합니다:

- Linux: ./run_linux.sh --clean

** 이 도구와 함께, Unsplash에서 제공하는 60장의 로열티 프리 이미지를 무료 샘플 데이터셋으로 제공하여 이 도구의 기능을 테스트할 수 있도록 했습니다. 캡션이 없는 고품질 데이터셋을 찾고 있지만 직접 수집하기 어려운 경우, 제 CivitAI 프로필(https://civitai.com/user/sarcastictofu)을 확인해 보세요. 거기에 몇 가지 양질의 데이터셋을 업로드해 두었습니다. 자유롭게 다운로드해 주시고, 제 작업이 마음에 드신다면 잠시나마 버즈를 주세요.