NewBie image

AnliaAnlia
237
670
애니메이션base modelillustrationnewbiesafetensorstransformerdiffuserstext-to-imageimage-generationnext-ditnewbiepipeline
Exp0.1 Base

세부 정보

파일 다운로드

모델 설명

NewBie 이미지 Exp0.1

🧱 Exp0.1 베이스

  • NewBie 이미지 Exp0.1는 Lumina 아키텍처 연구를 통해 개발된 3.5B 파라미터 DiT 모델입니다.

    이러한 통찰을 바탕으로, Next-DiT을 기반으로 하여 텍스트-이미지 생성에 특화된 새로운 NewBie 아키텍처를 설계했습니다.

    NewBie 이미지 Exp0.1 모델은 이 새롭게 구축된 시스템 내에서 학습되었으며, NewBie 텍스트-이미지 생성 프레임워크의 첫 번째 실험적 릴리스입니다.

텍스트 인코더

  • 주 텍스트 인코더로 Gemma3-4B-it을 사용하며, 그 penultimate 레이어의 토큰 잠재 상태에 조건을 부여합니다. 또한 Jina CLIP v2에서 풀링된 텍스트 특징을 추출하고, 이를 프로젝트한 후 시간/AdaLN 조건 경로에 융합합니다. Gemma3-4B-it과 Jina CLIP v2는 강력한 프롬프트 이해력과 명령 준수 능력을 제공합니다.

VAE

  • FLUX.1-dev 16채널 VAE를 사용하여 이미지를 잠재 공간으로 인코딩하여 더 풍부하고 부드러운 색상 표현과 세밀한 질감 디테일을 제공함으로써 NewBie 이미지 Exp0.1의 뛰어난 시각적 품질을 보장합니다.

프롬프트

  • XML 구조 프롬프트

  • 자연어 프롬프트

  • 태그 프롬프트

🖼️ 작업 유형

NewBie 이미지 Exp0.1은 고품질 애니메이션 데이터 대규모 코퍼스로 사전 학습되어, 놀라울 정도로 세밀하고 시각적으로 인상적인 애니메이션 스타일 이미지를 생성할 수 있습니다.

실험을 위해 데이터셋 텍스트를 XML 구조 형식으로 재구성했습니다. 실험적으로, 이 방식은 주의력 결합 및 속성/요소 분리 성능을 향상시키고, 수렴 속도도 빠르게 만들었습니다.

또한 자연어 및 태그 입력도 지원합니다.

🧰 모델 자원库

NewBie 이미지 Exp0.1: Hugging face | modelscope

Gemma3-4B-it: Hugging face | modelscope

Jina CLIP v2: Hugging face | modelscope

FLUX.1-dev VAE: Hugging face | modelscope

💪 학습 절차

🔬 참여자

핵심

멤버

✨ 감사의 말

  • 연구에 큰 도움이 된 Alpha-VLLM Org의 고급 Lumina 계열 오픈소스에 감사드립니다.

  • 강력한 Gemma3 LLM 계열을 오픈소스로 공개한 Google에 감사드립니다.

  • Jina 계열을 오픈소스로 공개하여 추가 연구를 가능하게 한 Jina AI Org에 감사드립니다.

  • FLUX VAE 계열을 오픈소스로 공개한 Black Forest Labs에 감사드립니다. 강력한 16채널 VAE는 이미지 품질 향상의 핵심 구성 요소 중 하나입니다.

  • Lumina-image-2.0 베이스 모델을 미세 조정하고 오픈소스로 공개한 Neta.art에 감사드립니다. Neta-Lumina는 Next-DiT이 애니메이션 유형에 어떻게 작동하는지 연구할 수 있는 기회를 제공했습니다.

  • 고품질 애니메이션 데이터셋을 제공해 준 DeepGHS/narugo1992/SumomoLee에게 감사드립니다.

  • 초기 도움과 지원을 아끼지 않은 Nyanko에게 감사드립니다.

📖 기여자

  • Neko, 衡鲍, XiaoLxl, xChenNing, Hapless, Lius

  • WindySea, 秋麒麟热茶, 古柯, Rnglg2, Ly, GHOSTLXH

  • Sarara, Seina, KKT机器人, NoirAlmondL, 天满, 暂时

  • Wenaka喵, ZhiHu, BounDless, DetaDT, 紫影のソナーニル

  • 花火流光, R3DeK, 圣人A, 王王玉, 乾坤君Sennke, 砚青

  • Heathcliff01, 无音, MonitaChan, WhyPing, TangRenLan

  • HomemDesgraca, EPIC, ARKBIRD, Talan, 448, Hugs288

🧭 커뮤니티 가이드

시작 가이드

LoRA 트레이너

💬 커뮤니케이션

📜 라이선스

  • 모델 가중치: Newbie 비영리 커뮤니티 라이선스 (Newbie-NC-1.0).

    적용 대상: 모델 가중치/파라미터/구성 및 파생물(미세 조정, LoRA, 병합, 양자화된 변형 등)

    비영리 용도에만 사용 가능하며, 동일한 라이선스 하에 공유해야 합니다.

    자세한 내용은 NewBie-image-Exp0.1 LICENSE.md 참조

  • 코드: Apache License 2.0.

    - 적용 대상: 본 프로젝트의 학습/추론 스크립트 및 관련 소스 코드

    - 자세한 내용은 Apache-2.0 참조

⚠️ 면책 조항

이 모델은 예상치 못하거나 해로운 출력을 생성할 수 있습니다. 사용자는 이 모델 사용으로 인해 발생하는 모든 위험 및 잠재적 결과에 전적으로 책임을 집니다.

이 모델로 만든 이미지

이미지를 찾을 수 없습니다.