Controlnet for DensePose

dewkkdewkk
0
11.1K
base modelcontrolnetpose
v1.0

세부 정보

파일 다운로드

모델 설명

이 ControlNet 모델은 DensePose 주석을 입력으로 받습니다

사용 방법

.safetensors 파일을 ../stable diffusion/models/ControlNet/ 아래에 넣으세요.

DensePose에 대해

이 레포지토리는 DensePose가 무엇이고 어떻게 사용하는지 설명합니다: https://github.com/facebookresearch/detectron2/tree/main/projects/DensePose

annotator를 사용하려면 지시에 따라 Detectron2를 설치해야 합니다. DensePose annotator는 apply_net.py를 실행하여 작동합니다. 이 스크립트의 필요한 수정 사항은 게시물의 마지막 이미지를 참조하세요.

이 프로젝트를 전처리기로 변환하는 것은 저에게 너무 어려운 문제였습니다.

모델 기능

장점

  1. 안정적인 몸체 자세

  2. 손 추론에 우수한 성능

  3. 복잡한 자세 추론 가능

  4. Depth ControlNet과의 뛰어난 결합 가능성

단점

  1. Openpose와 마찬가지로, 깊이 정보는 추론과 Depth ControlNet에 크게 의존합니다

  2. 머리 방향이 불안정함

  3. 여러 사람(정확히는 여러 머리)을 추론하려는 의도

겪을 수 있는 문제

Q: 이 모델은 여러 사람을 추론하려는 경향이 있습니다

A: 주석에 너무 많은 빈 공간을 두지 마세요. 또는 Depth ControlNet과 함께 사용하세요. 또는 제가 한 것처럼 프롬프트를 작성하세요 (예: (one:1.2) girl).

Q: 이 모델이 잘 작동하지 않습니다

A:

  1. DensePose annotator가 제대로 작동하지 않습니다. 주석을 수동으로 수정할 수 있습니다. OpenPose를 수정하는 것보다 더 쉬울 것입니다.

  2. Depth annotator가 제대로 작동하지 않습니다. 실제로 glpn-nyu를 depth annotator로 사용하는 것을 권장합니다. https://huggingface.co/vinvino02/glpn-nyu를 참조하세요.

  3. 자세가 너무 복잡하여 모델의 능력을 초월합니다.

Q: 이 모델이 내 LoRA와 잘 작동하지 않습니다

A:

  1. 이는 아마도 LoRA가 충분한 데이터로 학습되지 않았음을 의미합니다. 충분한 양의 데이터로 학습된 LoRA는 ControlNet이나 프롬프트와 충돌이 적습니다.

  2. LoRA의 IN 블록 가중치를 0으로 변경하세요. 항상 IN 블록이 모든 충돌의 원인입니다. https://github.com/hako-mikan/sd-webui-lora-block-weight를 참조하세요.

*참고: 게시물의 두 번째 자세 생성은 Depth ControlNet(w=0.25)을 사용했습니다.

이 모델로 만든 이미지

이미지를 찾을 수 없습니다.