ControlNeXt

---

🤖 Github | 📝 Project Page | 📚 Paper | 🗂️ Demo (SDXL)

---

ControlNeXt는 이미지와 비디오를 모두 지원하며 다양한 형태의 제어 정보를 통합하는 컨트롤 가능한 생성을 위한 공식 구현입니다. 본 프로젝트에서는 ControlNet에 비해 학습 가능한 파라미터를 최대 90% 줄이는 새로운 방법을 제안하여 더 빠른 수렴과 뛰어난 효율성을 달성했습니다. 이 방법은 다른 LoRA 기술과 직접 결합하여 스타일을 변경하고 더 안정적인 생성을 보장할 수 있습니다. 자세한 내용은 예시를 참조하세요.

ControlNeXt-SDXL의 온라인 데모를 제공합니다. SVD의 높은 자원 요구 사항으로 인해 SVD는 온라인으로 제공할 수 없습니다.

🎥 예시

---

🛠️ 사용법

---

🚀 빠른 시작

---

여기서는 ControlNeXt-SDXL AnimeCanny를 예시로 설명합니다.

먼저, Python이 설치되어 있는지 확인하세요(AI를 사용하는 분이라면 기본적으로 설치되어 있을 것입니다).

터미널을 실행하고 다음 명령어로 Github 저장소를 클론하세요:

git clone https://github.com/dvlab-research/ControlNeXt
cd ControlNeXt/ControlNeXt-SDXL

필요한 패키지를 설치하세요:

pip install -r requirements.txt

(선택사항) LoRA 가중치를 다운로드하세요. 예: Amiya (Arknights) Fresh Art Style. 다운로드한 파일을 lora/ 디렉토리(또는 원하는 다른 디렉토리)에 저장하세요.

마지막으로 예시를 실행하세요:

bash examples/anime_canny/run.sh

자체로 모델을 다운로드한 경우, bash 스크립트를 수정할 수 있습니다:

# examples/anime_canny/run.sh
python run_controlnext.py --pretrained_model_name_or_path "neta-art/neta-xl-2.0" \
  --unet_model_name_or_path "Eugeoter/controlnext-sdxl-anime-canny" \ # Huggingface 저장소 ID 또는 로컬 ControlNeXt UNet 모델 경로
  --controlnet_model_name_or_path "Eugeoter/controlnext-sdxl-anime-canny" \ # Huggingface 저장소 ID 또는 로컬 ControlNeXt ControlNet 모델 경로
  --controlnet_scale 1.0 \ # 제어 조건의 강도를 조정하는 ControlNet 스케일 인자
  --vae_model_name_or_path "madebyollin/sdxl-vae-fp16-fix" \
  --validation_prompt "3d 스타일, 포토리얼리스틱 스타일, 1girl, arknights, amiya (arknights), solo, 흰색 배경, 상반신, 시청자 바라보기, 핑크 뺨, 닫힌 입, 낮은 언덕 헤어스타일, 검은 재킷, 후드 재킷, 열린 재킷, 후드 아래, 파란 목부속" \
  --negative_prompt "최저 품질, 추상적, 어색한 자세, 변형된 손, 융합된 손가락, 추가적인 손가락, 손가락 부족, 추가 손, 손 부족, 추가 다리, 다리 부족, 서명, 아티스트 이름, 다중 시점, 비정상, 추악" \
  --validation_image "examples/anime_canny/condition_0.png" \ # 입력 캔니 이미지
  --output_dir "examples/anime_canny" \
  --load_weight_increasement # 가중치 증가량 로드

📝 더 많은 정보

---

더 많은 사용법과 예시는 Github 프로젝트 페이지를 참조하세요.