Perfect Sketchbook 完美草图

완전한 우연으로 만들어졌다. 이 모델은 사실상 초거대한 라인아트 스타일의 LoRA들을 모델에 적용하여 거의 망가지게 만들고, 그 후에 실제적인 모델의 UNET 블록들 중 IN06, IN07, IN08, OUT05, OUT4, OUT3를 교체함으로써 어떤 실용적인 연습을 제공한다고 생각한다.

이 모델은 디자인에 대한 스케치북 같은 효과를 만들어낸다. 해부학적으로는 반현실적인 모델의 뼈대를 가지고 있지만, 마치 누군가 펜슬로 그려낸 듯한 느낌을 준다. 나는 이를 '퍼펙트 스케치'라고 부르는데, 왜냐하면 '퍼펙트 월드'에서 사용할 어떤 프롬프트든 여기에 집어넣어도 작동하기 때문이다.

누군가 관심이 있다면 왜 이 방법이 효과적인지 보다 자세히 설명해줄 수 있지만, 프롬프팅만 관심이 있다면 아래 사용 가이드를 참고하면 된다.

사용법

최상의 효과를 위해서는 사실적인 스타일을 요청하는 것이 이상적이다. SketchyAnimeStyle는 크게 상관없지만, SketchStyle에서는 매우 도움이 된다. 직접 프롬프트를 만들고 싶지 않다면, 아래를 프롬프트 앞에 삽입하기만 하면 된다.

(초고해상도, 현실적, 최고 품질, 8k 뉴드, 걸작)
 
BREAK

음성 프롬프트는 간단하게 유지하는 것이 좋다. 다시 말하지만, 직접 만들고 싶지 않다면 일반적으로 아래와 같은 것을 사용한다.

easynegative, (최저 품질, 저품질:1.4), (흑백:1.1), 워터마크

라티스 업스케일러는 사용하지 말고, 2배 이하로 업스케일링할 경우 노이즈 제거 수치는 0.4 이하로 유지해야 한다.

SketchyStyle의 경우 업스케일러를 사용해야 얼굴의 세부 사항이 정상적으로 표현된다. SketchyAnimeStyle는 별로 중요하지 않지만, 물론 업스케일링은 더 좋다.

제작 과정

Huggingface

일반적으로 OU03부터 OUT5/IN8부터 IN6까지는 얼굴과 신체를 세분화하는 데 책임이 있다. 나는 LoRA의 가중치를 잘못 설정해 해부학적 구조가 망가진 후 이를 교정하려 했고, 기존에 잘 작동하는 모델의 UNET에서 신체 특징을 압축하고 복원하는 부분을 교체했다. 이로써 새로운 모델에 기존 모델의 해부학적 구조가 어느 정도 반영되면서도 세부 속성은 그대로 유지된다. 이 방법은 일반화된 접근 방식으로 볼 수 있으며, 스타일을 바꾸기 위해 LoRA를 적용한 후 특정 블록을 되돌려서 해부학적 정확성이나 비주얼 구성을 복구할 수 있다. 다만 이 기법은 주로 실험적이고 더 많은 연구가 필요하다.