By Night Portraits

나는 벨라돈나입니다. 이것이 제 첫 번째 LoRA입니다. (지난번에 무언가를 훈련시켰던 건, 캐릭터마다 드림부스 모델 전체를 만들어야 했던 시절이었죠. 기억나시나요? 그건 불과 1년도 안 된 과거였습니다.)

이것은 Stable Diffusion에서 더 나은 흡혈귀를 만들기 위한 제 여정의 산물입니다. 오랜 기간 동안 진행된 어둠의 시대 흡혈귀: 마스카레이드 채널의 플레이어로서, Stable Diffusion의 ‘별로’라는 흡혈귀 개념(심지어 XL 버전에서도)과 Midjourney의 캐릭터 유사성과 스타일 사이의 끊임없는 갈등에 결국 지쳐버렸습니다. 그래서 Civitai 훈련 대회(저는 마감 기한을 조금 넘겨서 참여했지만)의 동기부여를 받아, MJ의 스타일과 SD의 유사성 표현 능력을 결합하는 LoRA를 만들기로 결심했습니다.

여기서 보시는 것은 그 결과의 버전 1입니다.

이건 무엇을 하는 건가요?

By Night Portraits의 목적은 월드 오브 다크니스 스타일의 페인트 튀김, 피 묻은, 어두운 판타지 회화 스타일을 고정해, 프롬프트가 스타일과 유사성 사이의 갈등 없이 캐릭터 세부 사항에만 집중할 수 있도록 하는 것입니다.

이 LoRA는 흡혈귀를 위해 만들었지만, 흡혈귀나 피를 요청하지 않고 다른 색상을 주면, 꿈같은 분위기로도 잘 작동합니다(비흡혈귀 예시들을 보면 알 수 있죠). 강도를 최대로 높이면, 프롬프트에 무관하게 흡혈귀 캐릭터에 페인트와 붓터치가 가득한 멋진 복장으로 강제로 묘사하려고 하니 이 점을 기억해두세요.

이 LoRA는 주로 초상 포즈, 반신 또는 3/4 신체, 페인트 튀김, 역사적 분위기의 의상(대략 중세에서 빅토리아 시대까지)을 선호합니다.

훈련 방법

이 LoRA는 몇 백 개의 MJ 초상화 중에서 100장을 직접 선별하여, 그 전에도 수많은 실험을 거쳐 일관되고 반복 가능한 스타일을 확립했습니다.

작동하는 훈련을 만들기 위해 제가 참고하고 뜯어모은 가이드의 수가 너무 많아(처음 몇 가지는 실패했죠), 설정을 정확히 기억하지 못하지만, 아마도 2회 반복, 배치 크기 8, 에포크 8, 3090 Ti를 사용해서 했던 것 같습니다. 총 약 11시간 정도 걸렸죠. 저는 이 가이드와 The Ally의 Patreon 가이드도 참고했습니다.

사용법

대부분의 예시는 LoRA를 다양한 강도로 적용하여 생성했습니다. 스타일을 강화하려면 splatter style, textured backdrop, blood splatter, paint splatter and drips 같은 토큰을 추가하면 더 정확하게 스타일을 끌어올릴 수 있습니다.

강도는 0.5에서 0.9 사이를 추천합니다. 프롬프트에 따라 조정하세요. 일반적으로 단순한 프롬프트에는 강도를 높이고, 복잡한 프롬프트에는 낮추는 것이 좋습니다. 그렇지 않으면 세부 사항을 모두 삼켜버리고 제대로 반응하지 않을 수 있습니다.

여러 프롬프트(흔한 '기계장갑 입은 남자'도 포함)를 사용한 예시들과 기본 모델과 LoRA 적용 시의 비교 예시를 제공했습니다. 모든 예시는 SDXL 기본 모델에 리파이너를 15% 스텝에서 적용했으며, 하이레졸루션, 업스케일링, img2img는 사용하지 않았고, txt2img 출력 결과 그대로입니다.

다른 모델이나 다른 LoRA와의 조합 사용 예시는 아직 없지만, 계획에 포함되어 있습니다. 초기 시도 결과로는 다른 모델에서도 작동하는 것 같지만, 프롬프트를 무시하는 경향이 있어 강도를 낮춰야 할 가능성이 있습니다.

많은 예시에는 제 도시 판타지 와일드카드(나중에 올릴지도 모릅니다)를 활용했습니다. By Night Portraits는 이 와일드카드와 잘 어울리며, 두 가지를 결합하면 일관된 어둠의 시대 캐릭터 생성기로 사용할 수 있습니다.

의도하지 않은 사용법

캐릭터 초상이 아닌 프롬프트에도 흥미로운 결과를 만들어냅니다. 아래를 참고하세요:

프롬프트: 어두운 빽빽한 안개 낀 숲 속의 거대한 용과 거미의 하이브리드 괴물, lora:splatter\_lora:1

향후 계획

향후 버전에서 보완하고 싶은 사항들:

• 다른 모델, 다른 LoRA, 다양한 설정을 사용한 더 많고 더 나은 예시

• 다양성 향상(나쁘진 않지만 개선 필요)

• 장비, 갑옷, 의상 유형에 대한 이해 강화

• 캐릭터를 괴물처럼 보이지 않으면서 흡혈귀의 특징(이빨, 빛나는 눈, 발톱, 더 마르고 창백한 피부)을 더 자연스럽게 표현

• 더 현대적이고 고딕-펑크 스타일의 흡혈귀: 마스카레이드 초상화를 위한 훈련 강화(V1도 가능하지만 더 나아질 수 있음)

• 더 많은 전신 훈련을 통해 역동적인 액션 포즈 생성(현재 V1은 초상 포즈에만 익숙함)

• 흡혈귀 ‘클랜’(V:tM 스타일) 또는 적어도 흡혈귀 스타일(광기 어린, 괴물 같은, 드라큘라 스타일 귀족, 사회적 명사, 암살자, 피의 마법사 등)에 대한 훈련 추가

• 그리고 더 많은 것들! 최종 목표는 다른 초자연적 존재(늑대인간, 교체아이, 마법사 등)로 확장해 일관된 초상 스타일을 구축하는 것입니다. 더 큰 야망을 갖는다면, 월드 오브 다크니스, 트루 블러드, 캐스틸라니아, 마법사들, 슈퍼내추럴 등과 같은 세계관에 맞춘 완전히 미세 조정된 도시 판타지 모델을 제작하고 싶습니다. 하지만 어떻게 될지는 지켜봐야겠죠.

V1로 만들어진 결과를 정말 보고 싶습니다! 제가 제공한 예시가 많다고 해도, 제가 세계에서 가장 창의적인 프롬프터는 아니라는 걸 잘 알고 있습니다. 다른 캐릭터(또는 의도치 않은 사용법)에 어떻게 반응하는지 보고 싶습니다. 데이터가 많을수록 V2에서 어떤 부분을 보완해야 할지 더 명확히 알 수 있겠죠.

질문이나 의견이 있다면 부담 없이 저에게 연락해 주세요. 제대로 작동하지 않거나 개선할 점이 있다면 알려주세요. 감사합니다! 즐겁게 사용하세요!(지금 바로 흡혈귀를 만들어보세요.)