Manual of Section 剖面手册 XL

이것은 『단면 매뉴얼』 스타일의 단면 투시도를 생성하기 위한 미세 조정 모델로, 선화 스타일의 단면 투시도를 그리는 데 영감을 주기 위해 사용할 수 있습니다(사실 큰 도움이 되지 않습니다...).

훈련 세트는 『Manual of Section』(Paul Lewis, Marc Tsurumaki, David J. Lewis)에서 가져왔습니다.

KohakuXL Zeta를 기반으로 전통적인 LoRA, LoHa, LoKr 세 가지 방법으로 미세 조정했습니다. 이 세 가지 모델은 각각 장단점이 있으므로 사용자가 선택하시면 됩니다. 특히 전통적인 LoRA는 크기가 162MB이며, LoHa는 컨볼루션 레이어 학습을 포함하여 337MB이고, LoKr은 그 우아한 알고리즘 덕분에 단지 21.9MB입니다. 저는 LoKr 모델을 추천합니다.

사용 시 자연어 프롬프트를 사용하는 것이 좋으며, "architecture, a section perspective drawing of a ……"로 시작하는 것을 권장합니다. 아래에 몇 가지 예시를 소개합니다:

architecture, a section perspective drawing of a house with a roof and a porch area with a table and chairs and a bench, David Chipperfield, archdaily, modernism 

architecture, a section perspective drawing of a building with a lot of windows and a lot of people walking around it and a lot of windows, David Chipperfield, isometric view, modular constructivism

architecture, a section perspective drawing of a building with a lot of stairs and a lot of windows on the side of it, Enguerrand Quarton, isometric view, modular constructivism

ControlNet과 함께 사용하여 자체 단면 선도를 입력하고, xinsir의 union_promax를 사용하여 canny/lineart/anime_lineart/mlsd 모드 또는 hed/pidi/scribble/ted 모드를 적용하면 단면도를 『단면 매뉴얼』 스타일로 스타일라이징할 수 있습니다. 아래에 몇 가지 예시를 보여드립니다(샘플 이미지는 제가 직접 설계한 강의 과제이며, 부끄럽지만 공유합니다):

예시 1: ControlNet 입력 이미지:

출력:

예시 2: ControlNet 입력 이미지:

출력:

예시 3: ControlNet 입력 이미지:

출력:

이 모델의 단점은 프롬프트에 민감하지 않아 가구나 배경 요소를 프롬프트로 정확히 생성하기 어렵다는 점입니다. 이는 학습 시 라벨링이 부족했기 때문일 가능성이 높으며, 『단면 매뉴얼』의 그림들은 추상적이어서 라벨링이 어렵습니다.

---

v2 버전 업데이트: 총 세 가지 모델 (Kohaku 버전, Pony 버전, Juggernaut 버전):

주요 변경사항은 훈련 세트를 업데이트하고 JoyCaption으로 다시 라벨링하며 다른 베이스 모델을 시도한 것입니다. 또한, 이제 트리거 단어가 필요 없습니다.

가장 추천하는 버전은 Juggernaut 버전입니다. 저는 이전에 선화 스타일의 단면 투시도가 애니메이션 스타일과 더 가깝다고 생각하여 애니메이션 대형 모델을 베이스로 사용했습니다. 그러나 현재 보니 사실상 리얼리즘 스타일의 대형 모델이 더 적합해 보입니다. 아마도 애니메이션 모델이 너무 과도하게 스타일화되어 훈련되어 있어 이 용도에는 부적합하기 때문일 것입니다.

참고: 이 버전은 베이스 모델을 Juggernaut로 교체하여 학습했습니다. 따라서 이미지 생성 시 Kohaku가 아닌 Juggernaut를 반드시 사용해야 합니다.

훈련 세트를 업데이트하여 인물 및 가구가 픽셀 점으로 흐릿해지는 문제를 해결했습니다. (아직도 약간 흐릿해지긴 하지만, 이전처럼 일관된 선이 끊어진 픽셀 덩어리로 변하는 것이 아니라 단순히 해상도 부족으로 인한 흐릿함입니다.)

결과적으로, 훨씬 더 나은 성능을 발휘합니다.

Kohaku 버전:

훈련 세트를 업데이트한 후 KohakuXL Zeta에서 재학습하여 이미지 생성 품질을 개선했습니다. 그러나 실제로는 Juggernaut 버전보다 생성 정확도가 떨어집니다.

Pony 버전:

훈련 세트를 업데이트한 후 PonyXL에서 재학습했습니다. 이 버전은 깔끔하고 정형화된 단면을 생성하는 경향이 있으며 정확도는 높으나, 프롬프트에 대한 순응도가 낮고 Kohaku 버전 및 Juggernaut 버전만큼 창의적이지 않습니다.