【Clothes】妮露 | Nilou Costume (Genshin Impact)

기본 트리거 단어: circlet, pelvic curtain, veil, skirt, crop top, puffy long sleeves, harem outfit, fake horns, neck ring, blue gemstone

대안 트리거 단어: thighlet, gladiator sandals, jewelry, from behind, bare back, back tattoo

기타: dancing, outstretched arms, armpits, bare shoulder, bare legs, underwear, ...

1girl, solo 및 다양한 인물 특성 묘사를 반드시 포함해야 합니다. 현재 테스트 결과, 스타일에 약간의 영향을 받는 것으로 나타났습니다. DPM++ SDE Karras 샘플링이 더 안정적입니다(스타일 LoRA를 사용한 경우 이 샘플러를 사용하는 것이 좋습니다). 스타일이 이상하게 보이면 다른 샘플링 방식으로 전환하거나 특정 LoRA의 가중치를 조정해 보세요.

모델이 약간 과적합되어 있으며, 일부 세부 사항 오류는 베이스 모델의 결함으로 인한 것입니다. 또한, 트리거 단어 측면에서 thighlet은 gladiator sandals와 충돌할 수 있으며, jewelry는 일반적으로 불필요합니다.

———————————————

자백 성녀 모델 이후 가장 학습 난이도가 높은 모델로, 주요 난점은 스타일 제거와 특징 유지입니다.

이전의 의상 학습 방법을 사용하면 두 가지 상황이 발생했습니다. 하나는 특징이 잘 학습되지만 스타일과 인물이 심각하게 오염되는 경우였고, 다른 하나는 인물과 스타일이 오염되지 않지만 특징이 심각하게 미학습되는 경우였습니다. 텍스트 인코더만 학습하면 스타일 오염을一定程度 방지할 수 있으나, 결국 의상도 미학습됩니다.

따라서 저는 5일 5야를 바쳐 최종 최적화 방법을 고안했습니다. 이 방법은 UNet과 텍스트 인코더의 학습 프로세스를 그대로 유지하면서, 스타일 영향을 측정하고 직관적으로 반영할 수 있는 “핵심 지표”를 찾아내어 스타일 영향을 제거하면서도 특징 학습에 영향을 주지 않도록 하며, 기존의 심해 의상 학습 방법을 제 자신이 거의 만족할 수 있을 만큼 개선했습니다.

이 방법은 기존 단계 사이에 스타일 정규화 작업을 추가하여 UNet 학습으로 인한 스타일 오염 영향을 최대한 줄입니다. 저는 이 전체 방법을 “반복 정규화법”이라고 이름 붙였습니다. 전체적인 아이디어는 다음과 같습니다:

마스크 이미지 라벨링 → 스타일 제거 → 마스크 LoRA 선택 → 베이스 모델 병합 → 목표 이미지 라벨링 → 동일 개념 병합 → 개념 제거 → 목표 LoRA 선택

두 개념 집합의 이미지가 각각 유사한 스타일로 통합된다면, 여기서 끝냅니다. 그러나 목표 학습 세트와 마스크 학습 세트의 통합 스타일에 큰 차이가 있다면, 목표 LoRA를 선택한 후 다시 스타일 제거를 수행하고 최종 LoRA 모델을 선택할 때까지 재학습해야 합니다.

스타일 제거 과정에서 모델의 일반화 성능이 너무 낮다면, 샘플링 방법으로 DDIM을 사용하고 eta 계수를 0.5 이상으로 설정하세요.

이제 이 방법은 여러 의상 개념을 가진 캐릭터 특화 의상 학습에 모두 적용 가능합니다. 이는 드문 캐릭터라도 다른 교체 가능한 의상이 있다면 의상 개념을 학습할 수 있다는 뜻입니다. 여기서는 캐릭터의 노출 이미지를 직접 두 번째 의상 개념으로 사용하는 것이 좋습니다. 이렇게 하면 단 3장의 이미지로도 비교적 단순한 특징을 가진 마스크 LoRA를 학습할 수 있습니다.

의상 개념뿐 아니라, 이 방법은 모든 구체적인 개념의 분리 학습에 적용 가능합니다. 단지 기존 단계를 약간 조정하면 됩니다. 이전에 많은 문제들이 연구를 통해 해결책을 찾았지만, 직접 설명하기 너무 번거로워 여기서는 답변하지 않습니다. 궁금한 사항은 댓글에 질문해 주세요.