데이터셋 도구: AI 메타데이터 뷰어

영문 README Wiki 논의 공지사항 라이선스

Dataset Tools는 AI 아트 생성 도구(Stable Diffusion WebUI Forge, A1111, ComfyUI 등) 및 모델 파일(Safetensors 등)과 함께 사용되는 이미지 데이터셋을 탐색하고 관리하기 위한 데스크탑 애플리케이션입니다. Python과 PyQt6을 사용하여 개발된 이 도구는 파일 탐색, 내장 생성 파라미터 확인 및 관련 메타데이터 검토를 위한 직관적인 그래픽 인터페이스를 제공합니다.

이 프로젝트는 AI 아트 커뮤니티의 도구들, 특히 receyuki의 stable-diffusion-prompt-reader에서 영감을 받아 개발되었으며, 사용자들이 데이터셋 정리 작업을 개선할 수 있도록 돕는 것을 목표로 합니다. 기여를 환영합니다! 리포지토리를 포크하고 풀 리퀘스트를 제출해 주세요!

문의 및 지원

기능

가볍고 빠름: 빠른 로딩과 효율적인 메타데이터 표시를 위해 설계되었습니다.
크로스 플랫폼: Python 및 PyQt6(Windows, macOS, Linux와 호환)으로 구축되었습니다.
포괄적인 메타데이터 보기:
- 프롬프트 정보(긍정적, 부정적, SDXL 전용)를 명확하게 표시합니다.
- 다양한 AI 도구의 상세한 생성 파라미터를 표시합니다.
직관적인 파일 처리:
- 드래그 앤 드롭: 단일 이미지 파일이나 폴더 전체를 쉽게 로드할 수 있습니다. 드롭된 파일은 자동으로 선택됩니다.
- 폴더 탐색 및 파일 목록 내비게이션.
이미지 미리보기: 선택된 이미지에 대한 명확하고 크기 조절 가능한 미리보기 제공.
메타데이터 복사: 파싱된 메타데이터를 한 번의 클릭으로 클립보드에 복사.
테마화 가능한 UI: qt-material을 통해 테마 지원 (예: dark_pink, light_lightgreen_500).
고급 메타데이터 엔진:
- 완전히 재구성된 파서 시스템: 우선순위 기반 감지, 강력한 유니코드 처리 및 포괄적인 형식 지원을 갖춘 새 메타데이터 엔진.
- ComfyUI 지원 강화: 고급 워크플로우 트래버설, 노드 연결 분석 및 현대적인 커스텀 노드(예: smZ CLIPTextEncode 등) 지원.
- CivitAI 통합: CivitAI의 이중 메타데이터 형식을 완전히 지원하며 URN 리소스 추출 및 워크플로우 파싱 가능.
- 무결한 유니코드 처리: 포괄적인 백업 체인과 강력한 인코딩 감지를 통해 mojibake 문제 완전히 해소.
- A1111 형식 복원: 개선된 감지 규칙으로 A1111 JPEG 지원을 Fixes 및 강화.
- 지능형 백업 시스템: 전문 파서가 파일을 처리할 수 없을 경우, 시스템은 내장된 파서로 부드럽게 백업하여 최대 호환성 보장.
- 25개 이상의 전문 파서: 다양한 AI 도구 및 플랫폼을 위한 전용 파서를 제공하며 지속적으로 확장 중.
- 모델 파일 지원: 향상된 메타데이터 보기 기능 (Safetensors 및 GGUF 지원 곧 추가!)
설정 가능한 로깅: 디버깅을 쉽게 하기 위해 명령줄 인자로 애플리케이션 로그의 자세함을 제어 가능.

알려진 문제

Material 테마 호환성: 통합된 qt-material 테마는 시각적으로 매력적이지만, 모든 PyQt6/Qt6 요소와 100% 호환되지 않습니다. 애플리케이션은 기능적으로 작동하지만 일부 미세한 시각적 불일치가 있을 수 있습니다. 우리는 대안을 적극적으로 탐색 중이며, 향후 Tkinter로 마이그레이션할 계획입니다.
고급 파서: 고급 파싱은 약 75% 완료되었습니다. 현재 ComfyUI에서 많은 T5 스타일 모델을 파싱하는 데 어려움을 겪고 있습니다. ComfyUI를 사용하고 워크플로우나 현재 사용 중인 노드에 대한 정보를 제공해 주시면 감사하겠습니다.
Draw Things: XMP 추출기가 작동할 수 있지만, DrawThings에 대한 데이터가 제한적이며 원본 내장 코드가 현재 작동하지 않아 어떻게 작동하는지 확신할 수 없습니다.

지원되는 형식

Dataset-Tools는 다양한 소스에서 메타데이터를 읽는 것을 목표로 합니다. 현재 기능은 다음과 같습니다:

AI 이미지 메타데이터:

A1111 webUI / Forge: PNG(parameters chunk), JPEG/WEBP(UserComment).
ComfyUI:
- 표준 PNG ( "prompt" chunk에 내장된 워크플로우 JSON).
- Civitai 생성 JPEG/PNG (UserComment JSON with "extraMetadata").
- 고급 ComfyUI 워크플로우: 많은 워크플로우가 지원되지만, 일부 복잡하거나 커스텀된 ComfyUI 워크플로우는 아직 완전히 파싱되지 않을 수 있습니다. 호환성을 지속적으로 개선 중이며, 파싱되지 않은 워크플로우 예제를 제공해 주세요!
NovelAI: PNG (레거시 "Software" 태그 및 "Comment" JSON; 알파 채널의 Stealth LSB).
Midjourney 인기 규칙! 이건 과거의 황금 표준입니다. (조용히, 내가 새벽 1시에 이걸 썼어요)
InvokeAI: (현재 리팩토링 중이며, 이 버전에서는 올바르게 파싱되지 않을 수 있습니다. 다음 주요 업데이트에서 수정 예정.)
Easy Diffusion: PNG, JPEG, WEBP (내장 JSON 메타데이터).
Fooocus: PNG ("Comment" chunk JSON), JPEG (JFIF comment JSON).
Midjourney YAY
RuinedFooocus: JPEG (UserComment JSON).
Draw Things: (현재 리팩토링 중이며, 이 버전에서는 올바르게 파싱되지 않을 수 있습니다. 다음 주요 업데이트에서 수정 예정.)
StableSwarmUI: PNG, JPEG (EXIF 또는 PNG/UserComment에 "sui_image_params").
(다른 형식의 지원도 준비 중입니다. 자세한 내용은 이슈 또는 토론을 참조하세요.)

곧 출시 예정 및/또는 부분적 기능을 지원하는 파일 유형

모델 파일 메타데이터(헤더 정보):

.safetensors
.gguf

기타 파일 유형:

.txt: 콘텐츠 표시.
.json, .toml: 콘텐츠 표시 (미래: 구조화된 뷰).

설치

설치는 간단하며 크로스 플랫폼입니다. 실행 파일은 제공되지 않으며, 개발자가 그 작동 방식을 확신하지 못할 경우 추후 문제를 일으킬 수 있기 때문입니다. 현재 우리는 여전히 활발히 개발 중이므로, 실행 파일을 제공하는 것은 수개월에서 거의 1년 후일 것입니다. 그러나 PYPI 외의 패키지 관리 시스템으로의 배포 계획은 완전히 진행 중입니다. Brew 요구사항이 다음 우선순위이며, Windows 및 Linux 호환 패키지 관리자도 준비 중입니다!

🚀 빠른 설치 (추천)

한 줄 명령어로 끝납니다:

pip install kn-dataset-tools
dataset-tools

필요 조건: Python 3.10 이상

끝입니다! 도구는 AI 메타데이터를 보기 위한 GUI 인터페이스로 실행됩니다.

📦 소스에서 설치

최신 개발 버전을 원하시면:

git clone https://github.com/Ktiseos-Nyx/Dataset-Tools.git
cd Dataset-Tools
pip install .
dataset-tools

🔧 고급 설치 (옵션)

개발자이거나 격리된 환경을 선호하는 사용자 분들을 위해:

고급 옵션 확장

가상 환경 사용:

# 가상 환경 생성
python -m venv dataset-tools-env

# 활성화
# Windows: dataset-tools-env\Scripts\activate
# macOS/Linux: source dataset-tools-env/bin/activate

# 설치
pip install kn-dataset-tools

uv 사용 (가장 빠름):

uv pip install kn-dataset-tools

기여자용:

git clone https://github.com/Ktiseos-Nyx/Dataset-Tools.git
cd Dataset-Tools
pip install -e .  # 개발용 수정 가능 설치

🆚 SD Prompt Reader와 비교

기본 프롬프트 보기만을 목표로 하는 SD Prompt Reader와 달리, Dataset Tools는 다음을 제공합니다:

고급 ComfyUI 워크플로우 분석
LoRA 학습 메타데이터 추출
25개 이상의 전문 AI 형식 파서
모델 파일 지원 (SafeTensors, GGUF)
포괄적인 메타데이터 엔진

둘 다 훌륭한 도구입니다! 자신에게 더 잘 맞는 도구를 선택하세요.

사용법

앱 실행

    python dataset_tools

설치 후 터미널에서 앱 실행:

   dataset-tools

고급 명령줄 옵션

 python -m dataset_tools.main [옵션]

팁

    --log-level LEVEL: 로그 자세함을 설정합니다.

선택사항: DEBUG, INFO(기본값), WARNING, ERROR, CRITICAL. 짧은 형태: d, i, w, e, c (대소문자 구분 없음).

   예: python -m dataset_tools.main --log-level DEBUG

GUI 상호작용

파일 로드:

"폴더 열기" 버튼을 클릭하거나, 파일 > 폴더 변경... 메뉴 옵션을 사용하세요.
드래그 앤 드롭: 단일 이미지/모델 파일이나 전체 폴더를 애플리케이션 창으로 직접 드래그하세요.
단일 파일이 드롭되면, 부모 폴더가 로드되고 파일은 목록에서 자동으로 선택됩니다.
폴더가 드롭되면, 해당 폴더가 로드됩니다.

내비게이션:

왼쪽 패널의 파일 목록에서 파일을 선택하여 세부 정보를 확인하세요.
- 이미지 미리보기: 선택된 이미지는 오른쪽 미리보기 영역에 표시됩니다. 이미지가 아닌 파일 또는 미리볼 수 없는 파일은 "미리보기 없음" 메시지를 표시합니다.
- 메타데이터 표시: 파싱된 프롬프트(긍정적, 부정적), 생성 파라미터(Steps, Sampler, CFG, Seed 등) 및 기타 관련 메타데이터는 이미지 미리보기 아래/옆의 텍스트 영역에 표시됩니다. 프롬프트 정보 및 생성 정보 제목은 발견된 내용에 따라 업데이트됩니다.
- 메타데이터 복사: "메타데이터 복사" 버튼을 사용하여 현재 표시된 파싱된 메타데이터(텍스트 영역에서)를 시스템 클립보드에 복사하세요.
- 파일 목록 작업: 파일 정렬: "파일 정렬" 버튼을 클릭하여 파일 목록을 유형별(이미지 > 텍스트 > 모델)로 알파벳순으로 정렬하세요.
- 설정 및 테마: 하단의 "설정..." 버튼이나 보기 > 테마 메뉴를 통해 애플리케이션 설정(예: 표시 테마, 창 크기 선호도)에 접근하세요.

테마

현재 앱에서는 PYQT6 브랜치에만 QSS 형식으로 수많은 끔찍하고 눈길을 끄는, 눈을 찌푸리게 하는, 멤-worthy한 테마가 제공됩니다. 향후 개발에서는 Tkinter 테마도 유사한 형식으로 제공될 예정입니다. 이 앱의 주 개발자는 QSS가 어떻게 작동하는지 전혀 모르며, 단지 좋은 테마와 나쁜 테마를 제공하고 싶었을 뿐입니다. QSS 테마를 사용하시려면 QSS 테마로 이동하세요. 테마 폴더에 자체 QSS 스타일시트를 사용할 수 있습니다. 우리의 미친 짓은 필요 없으며, 감사할 필요도 없습니다. 네, 테마 정보를 위한 면책조항 파일도 있으며, 우리는 그 안의 이름, 브랜드 또는 개념을 소유하지 않습니다. 의도적으로 불쾌하게 만들고 싶은 것도 아닙니다. "엄마만 사랑할 색상" 테마를 사용한다고 해서 누구도 당신을 비난하지 않을 거예요. 당신도 원하죠.

또한 다음 테마들을 사용하고 있습니다:

향후 개발 로드맵

핵심 기능:

모델 파일 지원: Safetensors 및 GGUF 메타데이터 표시 및 편집 기능 완료.
완전한 메타데이터 편집: 이미지 메타데이터에 대한 고급 편집 및 저장 기능.
플러그인 아키텍처: 사용자 정의 파서 및 기능을 쉽게 추가할 수 있는 확장 가능한 플러그인 시스템.
일괄 작업: 폴더에서 메타데이터 내보내기, 메타데이터 기반 파일 이름 변경, 일괄 처리.
고급 검색 및 필터링: 메타데이터 콘텐츠 및 매개변수를 기반으로 데이터셋 검색 및 필터링.

사용자 경험:

향상된 UI/UX: 프롬프트 표시 개선, 구문 강조 기능을 갖춘 텍스트 파일 보기 개선. (교차 플랫폼 호환성 및 UI 일관성 향상을 위해 Tkinter로의 이전 계획 중.)
테마 시스템 확장: 추가적인 테마 및 사용자 정의 옵션.
키보드 단축키: 고급 사용자를 위한 포괄적인 단축키 지원.

플랫폼 및 통합:

독립형 실행 파일: Windows, macOS, Linux용 네이티브 빌드.
PyPI 배포: pip install dataset-tools로 쉽게 설치 가능한 공식 패키지 배포.
CivitAI API 통합: 모델 및 리소스를 직접 검색하는 기능.
교차 플랫폼 호환성: 다양한 운영 체제에서의 지원 강화.

기술 개선:

포괄적인 테스트 스위트: 안정성 보장 및 후퇴 방지를 위한 자동화 테스트.
향상된 형식 지원: 추가적인 AI 도구 형식 및 메타데이터 표준.
성능 최적화: 대규모 데이터셋에 대한 빠른 로딩 및 처리.
오류 처리: 개선된 오류 보고 및 복구 메커니즘.

에코시스템 통합:

데이터셋 관리 도구: HuggingFace, 모델 다운로더 및 변환 유틸리티와의 통합.
워크플로 통합: AI 생성 워크플로 및 파이프라인 관리 지원.
커뮤니티 기능: 파서 공유, 형식 기여 시스템.

기여하기

당신의 기여를 환영합니다! 버그 보고, 기능 요청, 문서 개선, 코드 기여 등 어떤 형태로든 언제든지 참여해 주세요.

이슈: 기존 버그나 아이디어는 이슈 탭을 확인해 주세요. 해당 이슈를 찾지 못했다면, 명확한 설명과 재현 단계(버그의 경우)와 함께 새 이슈를 열어 주세요.
풀 리퀘스트: 리포지토리를 포크하세요. 기능 또는 버그 수정을 위한 새 브랜치를 생성하세요 (git checkout -b feature/your-feature-name 또는 bugfix/issue-number). 변경 사항을 수행하고 명확하고 설명적인 커밋 메시지로 커밋하세요. 브랜치를 본인의 포크에 푸시하세요 (git push origin feature/your-feature-name). Ktiseos-Nyx/Dataset-Tools 리포지토리의 메인 브랜치로 풀 리퀘스트를 제출하세요. PR에는 변경 사항에 대한 명확한 설명을 포함해 주세요.

라이선스

이 프로젝트는 GNU GENERAL PUBLIC LICENSE GPL 3.0 조건에 따라 라이선스됩니다. 전체 라이선스 텍스트는 리포지토리 루트의 LICENSE 파일에서 확인하세요.

감사의 말

핵심 파싱 로직 및 영감: 이 프로젝트는 receyuki의 Stable Diffusion Prompt Reader에서 파생된 파싱 기능을 포함하고 크게 수정했습니다. 이 기초 작업에 진심으로 감사드립니다. 원본 리포지토리: stable-diffusion-prompt-reader 이 외부 코드에 적용된 원본 MIT 라이선스는 NOTICE.md 파일에 포함되어 있습니다.
UI 테마: 아름다운 PyQt 테마는 DunderLab의 qt-material과 GTRONICK - GTRONICKS, 그리고 UNREAL STYLE SHEET 제작자 UNREAL STYLESHEET에 의해 가능해졌습니다.
핵심 라이브러리: 이 프로젝트는 Pillow,, PyQt6, piexif, pyexiv2, toml, Pydantic, Rich 등의 훌륭한 오픈소스 Python 라이브러리에 의존합니다. 각 라이브러리의 라이선스가 적용됩니다.
지속적인 지원과 동기를 제공해 준 Anzhc에게 감사드립니다.
지속적인 지원과 영감을 주신 동료들과 AI 및 오픈소스 커뮤니티에 감사드립니다.
개발 과정에서 코드 생성, 문서 작성, 문제 해결에 도움을 준 AI 언어 모델들(Google, OpenAI, Anthropic 등)에게 감사드립니다.
그리고 더 많은 분들께!

우리를 지원해 주세요

Dataset Tools가 유용하다고 느끼신다면, 제작자를 지원해 주세요!

모델 유형	기타
기본 모델	Other
게시일	10/18/2025

Dataset Tools for Metadata & Captioning

세부 정보

파일 다운로드

이 버전에 대해

모델 설명