Render/Hue/HSX ControlNet

이것은 이미지의 단순화된 버전을 생성하고 다양한 스타일이나 셰이딩으로 다시 렌더링하는 개념 증명입니다. 가끔 Unet에서 NaN이 발생할 수 있으므로, UI를 재설정하여 해결하세요. 이 기능이 향후 더 나은 지원을 받기를 바랍니다.

1. Render Control Net
   K-means 포스터라이즈된 이미지 또는 단색을 사용하여 이미지를 렌더링하거나 스타일을 변경합니다.
   전처리기:
   - K-means 포스터라이즈: G'Mic 포스터라이즈 필터를 사용하여 9색 적용
   - RGB 채널을 BGR로 스왑 (감사합니다, OpenCV, 😒). GIMP에서는 색상 > 구성 요소 > 채널 믹서를 통해 쉽게 변경할 수 있습니다.
   - 균형 잡힌 모드 또는 Control Net 우선: 가중치 0.6-1.0에서 작동, txt2img 사용

2. HSX Control Net
   포스터라이즈된 이미지 또는 단색을 사용하여 이미지를 렌더링하거나 스타일을 변경합니다.
   전처리기:
   - HSV 양자화를 사용한 포스터라이즈: G'Mic HSX posterize-index 필터를 사용하여 12개의 색조 대역, 4(또는 3)개의 채도 대역, 4(또는 3)개의 명도 대역, HSV 색공간 적용
   - 이제 반경 3의 중앙값 블러 적용
   - Auto1111에서 "내 프롬프트가 더 중요함"을 가중치 1.0으로 사용, txt2img

3. Hue Control Net
   K-means 포스터라이즈된 이미지 또는 단색을 사용하여 이미지의 색조와 채도를 제어합니다. 형태 개념이 부족하므로 3D 렌더링 단계나 드로잉의 단색에 적합하며, 형태는 다른 ControlNet이 제공해야 합니다. 예시에서는 선화를 MSLD로 1.0에 역전하고, Render ControlNet을 0.6, Hue ControlNet을 0.4로 사용하여 txt2img를 적용했습니다.
   전처리기:
   - K-means 포스터라이즈: G'Mic 포스터라이즈 필터를 사용하여 9색 적용
   - 값을 127로 설정하고, 이미지 위에 레이어를 생성하여 50% 회색으로 채운 후 HSV 값 블렌딩 모드 적용
   - 균형 잡힌 모드 또는 Control Net 우선: 가중치 0.4-0.6에서 작동

학습:

1. 프롬프트에서 빨강, 파랑, 금색, 마젠타 등 색상 관련 단어를 제거한 15만 장의 이미지로 구성된 사용자 정의 데이터셋을 사용하여 모델을 미세 조정
2. 각 네트워크에서 사용된 전처리기를 적용하여 diffusers 저장소를 사용하여 빈 ControlNet을 학습
   https://huggingface.co/blog/controlnet