Kolors VAE

📖 서론

Kolors는 Kuaishou Kolors 팀이 개발한 잠재적 확산 기반의 대규모 텍스트-이미지 생성 모델입니다. 수십억 개의 텍스트-이미지 쌍으로 학습된 Kolors는 시각적 품질, 복잡한 의미 정확도, 중국어 및 영어 문자의 텍스트 렌더링 측면에서 오픈소스 및 프로프리어터리 모델 모두를 앞선 뛰어난 성능을 보여줍니다. 또한 Kolors는 중국어 및 영어 입력을 모두 지원하며, 중국어 특화 콘텐츠 이해 및 생성에서 우수한 성능을 발휘합니다. 자세한 내용은 이 기술 보고서를 참조하세요.

🚀 빠른 시작

요구 사항

• Python 3.8 이상
• PyTorch 1.13.1 이상
• Transformers 4.26.1 이상
• 권장: CUDA 11.7 이상

1. 리포지토리 클론 및 의존성 설치

apt-get install git-lfs
git clone https://github.com/Kwai-Kolors/Kolors
cd Kolors
conda create --name kolors python=3.8
conda activate kolors
pip install -r requirements.txt
python3 setup.py install

1. 가중치 다운로드 (링크):

huggingface-cli download --resume-download Kwai-Kolors/Kolors --local-dir weights/Kolors

또는

git lfs clone https://huggingface.co/Kwai-Kolors/Kolors weights/Kolors

1. 추론:

python3 scripts/sample.py "一张瓢虫的照片，微距，变焦，高质量，电影，拿着一个牌子，写着“可图”"
# 이미지는 "scripts/outputs/sample_test.jpg"에 저장됩니다.

Diffusers 사용하기

https://huggingface.co/Kwai-Kolors/Kolors-diffusers를 참조하세요.

📜 라이선스 및 인용

라이선스

Kolors는 학술 연구 목적으로 완전히 오픈소스화되었습니다. 상업적 사용을 원하시는 경우, 이 설문지를 작성하여 [email protected]로 제출하여 등록해 주세요.

우리는 개방형 커뮤니티와 협력하여 대규모 텍스트-이미지 모델의 발전을 촉진하기 위해 Kolors를 오픈소스화했습니다. 본 프로젝트의 코드는 Apache-2.0 라이선스 하에 공개됩니다. 모든 개발자 및 사용자분들이 오픈소스 라이선스를 엄격히 준수해 주시길 진심으로 요청드립니다. 국가와 사회에 해를 끼칠 수 있는 목적 또는 안전성 평가 및 등록되지 않은 서비스에 오픈소스 모델, 코드 및 그 파생물들을 사용하지 마십시오. 학습 과정에서 데이터의 준수성, 정확성 및 안전성을 보장하기 위해 최선을 다했지만, 생성 콘텐츠의 다양성과 결합 가능성, 모델에 영향을 주는 확률적 무작위성으로 인해 출력 콘텐츠의 정확성과 안전성을 보장할 수 없으며, 모델은 오도될 수 있습니다. 본 프로젝트는 오픈소스 모델 및 코드 사용으로 인해 모델이 오도되거나 남용되거나 부적절하게 사용되어 발생하는 모든 데이터 보안 문제, 여론 위험, 책임 및 손해에 대해 법적 책임을 지지 않습니다.

인용

본 작업이 도움이 되셨다면, 인용해 주세요!

@article{kolors,
  title={Kolors: Effective Training of Diffusion Model for Photorealistic Text-to-Image Synthesis},
  author={Kolors Team},
  journal={arXiv preprint},
  year={2024}
}

감사의 말

• 코드베이스를 제공해 준 Diffusers에게 감사드립니다.
• 강력한 중국어 언어 모델을 제공해 준 ChatGLM3에게 감사드립니다.

문의하기

연구 및 제품 팀에 메시지를 남기고 싶으신 경우, 웨이신 그룹에 참여해 주세요. 이메일([email protected])로도 문의하실 수 있습니다.