LuminaYume (Lumina Image 2.0)

I. 개요

이 모델은 사실적인 인간 이미지 생성뿐만 아니라 고품질 애니메이션 스타일 이미지 생성을 목표로 학습되었습니다. 특정 데이터셋에 미세 조정되었음에도 불구하고, 기본 모델에서 상당한 지식을 유지하고 있습니다.

주요 기능:

• Danbooru 태그를 사용한 애니메이션 이미지 생성 지원

• 프롬프트 설명에 따라 이미지 내 객체 위치 정확도 향상

• 기본 모델의 원래 지식의 상당 부분 보존

한계점:

버전 0.1 기준:

• 이미지 내 텍스트 생성은 여전히 부정확합니다.

• 출력 이미지 품질은 현재 중간 수준이며, 프롬프트에 따라 다를 수 있습니다.

• Danbooru 태그를 통한 특정 캐릭터 프롬프트에 대한 이해가 제한적입니다.

II. 모델 구성 요소:

• 텍스트 인코더: 사전 학습된 Gemma-2-2B

• VAE: Flux.1 dev의 VAE 사용

• 이미지 백본: Lumina의 백본의 미세 조정 버전

• 다음을 포함하는 다변화된 3천만 장의 이미지 데이터셋으로 학습:

  • 애니메이션 이미지(Danbooru 태그 부착)

  • 사실적인 인간 사진

  • 텍스트를 포함하는 이미지

  • 세부적인 공간 주석이 있는 이미지

III. 파일 정보

이 모든 것을 하나로 통합한 파일에는 VAE, 텍스트 인코더 및 이미지 백본의 가중치가 포함되어 있습니다. ComfyUI 및 사용자 지정 파이프라인을 지원하는 다른 시스템과 완전히 호환됩니다.

Hugging Face의 diffusers 라이브러리를 통해 이 모델을 사용하려면 자세한 정보를 위해 여기를 클릭하세요.

IV. 권장 설정

시스템 프롬프트

• 애니메이션(Danbooru 태그)용:

  • 당신은 Danbooru 태그를 사용하여 이미지 생성 과정을 정확히 안내하는 고품질 이미지를 생성하도록 설계된 고급 어시스턴트입니다.

  • 당신은 사용자 프롬프트와 Danbooru 태그를 기반으로 고품질 이미지를 생성하도록 설계된 어시스턴트입니다.

• 일반 사용용:

  • 당신은 텍스트 프롬프트나 사용자 프롬프트를 기반으로 이미지-텍스트 정렬도가 우수한 초고품질 이미지를 생성하도록 설계된 어시스턴트입니다.

  • 당신은 텍스트 프롬프트를 기반으로 이미지-텍스트 정렬도가 최고인 고품질 이미지를 생성하도록 설계된 어시스턴트입니다.

권장 설정

• CFG: 3–6

• 샘플링 단계: 40–50

• 샘플러: Euler a

V. 참고사항 및 피드백

이것은 실험적 릴리스이며, 향후 버전에서 개선할 계획입니다.
피드백, 제안 및 프롬프트 아이디어는 언제든지 환영합니다! 귀하의 지원이 이 모델을 더욱 좋게 만들어줍니다!

영어 프롬프트 외에도 이 모델은 중국어 및 일본어 프롬프트도 지원합니다.

VI. 감사의 말

• 데이터셋 기여에 대해 narugo1992에게 큰 감사를 드립니다.

• 훌륭한 기본 모델 아키텍처에 대해 Alpha-VLLM에게 감사드립니다.

• Lumina-Illustrious 실험을 공유해 주셔서 이 프로젝트의 일부 방향을 이끌어준 AngelBottomless 및 그 팀에게 감사드립니다.

제 작업을 지원하고 싶으시면 Ko-fi를 통해 도와주실 수 있습니다!