모든 선을 완벽하게 제어하세요!

MistoLine: 다양한 선 아트 조건에 적응할 수 있는 다재다능하고 강력한 SDXL-ControlNet 모델

MistoLine은 어떤 유형의 선 아트 입력에도 적응할 수 있는 SDXL-ControlNet 모델로, 높은 정확도와 뛰어난 안정성을 보여줍니다. 사용자가 제공하는 손으로 그린 스케치, 다양한 ControlNet 선 전처리기, 모델이 생성한 아웃라인 등 다양한 유형의 선 아트를 기반으로, 단변이 1024px 이상인 고품질 이미지를 생성할 수 있습니다. MistoLine은 다양한 선 아트 조건에 대해 강력한 일반화 능력을 발휘하여, 다른 선 전처리기에 맞춰 별도의 ControlNet 모델을 선택할 필요를 없애줍니다.

우리는 새로운 선 전처리 알고리즘(Anyline)을 도입하고, stabilityai/stable-diffusion-xl-base-1.0의 U-Net을 기반으로 ControlNet 모델을 재학습하며, 대규모 모델 학습 엔지니어링 측면에서도 혁신을 이뤘습니다. MistoLine은 다양한 선 아트 입력에 있어 우수한 성능을 발휘하며, 세부 요소 복원, 프롬프트 일치도 및 안정성 측면에서 기존 ControlNet 모델들을 능가하며, 특히 복잡한 시나리오에서 두드러진 성능을 보입니다.

MistoLine은 lllyasviel이 공개한 ControlNet 아키텍처와 일관성을 유지하며, 아래 스케마틱도에 나타난 바와 같습니다:

참조: https://github.com/lllyasviel/ControlNet

ControlNet에 대한 추가 정보는 다음 참조 자료에서 확인하실 수 있습니다:

https://github.com/lllyasviel/ControlNet

https://huggingface.co/docs/diffusers/main/en/api/pipelines/controlnet_sdxl

이 모델은 PlaygroundV2.5와 CosXL을 제외한 대부분의 SDXL 모델과 호환됩니다. LCM 및 기타 ControlNet 모델과 함께 사용 가능하며, 개인 사용자를 위한 비상업적 이용을 위해 관련 모델 가중치 파일을 오픈소스로 공개했습니다.

다양한 선 전처리기와 함께 사용하기

MistoLine과 다른 ControlNet 비교

적용 사례

스케치 렌더링

다음 사례는 MistoLine을 유일한 ControlNet으로만 사용했습니다:

모델 렌더링

다음 사례는 Anyline을 전처리기로, MistoLine을 ControlNet으로만 사용했습니다.

ComfyUI 권장 파라미터:
샘플러 스텝: 30

CFG: 7.0

샘플러 이름: dpmpp_2m_sde

스케줄러: karras

디노이즈: 0.93

ControlNet 강도: 1.0

시작 비율: 0.0

종료 비율: 0.9

체크포인트

• mistoLine_rank256.safetensors: 일반용 버전, ComfyUI 및 AUTOMATIC1111-WebUI용

• mistoLine_fp16.safetensors: FP16 가중치, ComfyUI 및 AUTOMATIC1111-WebUI용

ComfyUI 사용법

중국(대륙) 빠른 다운로드 링크:

링크: https://pan.baidu.com/s/1DbZWmGJ40Uzr3Iz9RNBG_w?pwd=8mzs

비밀번호: 8mzs

인용

@misc{ title={Adding Conditional Control to Text-to-Image Diffusion Models}, author={Lvmin Zhang, Anyi Rao, Maneesh Agrawala}, year={2023}, eprint={2302.05543}, archivePrefix={arXiv}, primaryClass={cs.CV} }