【Clothes】珊瑚宫心海 | Kokomi Costume (Genshin Impact)

작은 프로젝트를 진행하며 특정 의상 컨셉을 제조하는 새로운 방법을 시도했습니다: 수동 정규화 + 차이 연단. 여기서 마스크 훈련 세트 이미지 106장, 타겟 훈련 세트 이미지 77장을 사용했습니다.

이 의상 컨셉의 주요 훈련 난점은 스타일과 얼굴 영향을 제거하는 것이므로, 훈련 과정이 비교적 복잡합니다.

이 버전은 지금까지 제조한 최고의 버전입니다. 모든 에너지를 의상 고정에 집중했기 때문에, 일반화 성능을 보장하지는 않습니다. 물론, 심해(Shenhe)의 모든 인물 특징은 'sangonomiya kokomi' 태그에 모두 집중되어 있으므로, 이를 심해 캐릭터 LoRA로 사용할 수도 있지만, 사이트 내 다른 심해 모델보다 더 나은 효과를 기대하기는 어렵습니다.

트리거 단어: official costume, white short shorts, choker, wide sleeves, white thighhighs, vision \(genshin impact\)

예시: 1girl, green hair, green eyes, solo, official costume, wide sleeves, white short shorts, white thighhighs, bare shoulder, choker, necklace, vision \(genshin impact\), outdoors, street, hair ornament, navel

현재 이 방법은 거의 완성 단계에 도달했으며, 실용화를 위한 몇 가지 작은 문제점이 남아 있습니다. 주요 문제는 다음과 같습니다:

• 이 방법은 타겟 캐릭터가 일정 수준의 일반화 능력을 갖추고 있어야 합니다. 즉, 타겟 훈련 세트 이미지와 동일하거나 그 이상의 마스크 훈련 세트가 필요합니다. 여기서 말하는 것은 다양한 의상을 입은 심해의 팬아트 이미지를 의미합니다. 따라서 매우 소수의 캐릭터이거나, 대체 의상이 전혀 없는 캐릭터에는 이 방법이 적용되지 않습니다. (최소 훈련 세트가 존재할까요? 예를 들어, 제가 처음에 Dreambooth를 훈련했을 때, 정규화 훈련의 기본 파라미터는 20장의 이미지였습니다. LoRA도 20장의 이미지만으로도 모델의 일반화 능력을 보장할 수 있을지 저는 확신하지 못합니다.)

• 의상의 일부 세부 사항이 안정적이지 않습니다. 예를 들어, 반바지에 보석을 걸어두는 부분은 Anything 모델로 생성할 때 자주 나타나지 않습니다(보석이 있던 자리가 구멍처럼 빈 상태가 됩니다). 제가 느기로는 의상이 약간 underfitting된 것 같지만, 더 훈련하면 스타일이 overfitting되기 시작합니다. 향후 안정성을 개선해 나갈 계획입니다.

• 머리 장신구를 재현할 수 없습니다. 아마도 실험 과정에서 마스크 훈련 세트에 일부 머리 장신구를 단 심해 이미지를 포함시켰기 때문일 것입니다(많지는 않지만, 아마 20% 정도?). 따라서 두 LoRA 훈련 세트의 개념을 철저히 분리하고, 머리 장신구가 포함된 이미지를 제거해야 할 것 같습니다.

• 타겟 컨셉 훈련 세트의 태그 병합 문제 — 컨셉을 쉽게 호출하면서도 높은 적합도를 달성하는 방법.

• 마스크 LoRA의 적합도 — overfitting은 타겟 LoRA 훈련을 더 어렵게 만들고, underfitting은 타겟 LoRA가 스타일 오염을 더 쉽게 받게 만듭니다. 따라서 마스크 LoRA의 선택은 거의 감에 의존한다고 느껴지지만, 여전히 규칙이 존재합니다.

일반적으로, overfitting이 심한 마스크 LoRA를 우선 선택하고, 후속 훈련 결과에 따라 조정 여부를 결정하는 것이 좋습니다. 훈련 세트가 충분히 크다면, 에포크 수가 동일한 경우 마스크 LoRA의 훈련 이미지 수가 많을수록, 후속 타겟 컨셉 훈련의 난이도가 낮아질 것이라 추측합니다. 이는 제가 마스크 훈련 세트 이미지 수를 타겟 훈련 세트보다 더 많이 할 것을 권장하는 이유입니다. 이미지 수가 너무 적으면 스타일과 타겟 컨셉을 분리할 수 없게 되어(타겟 LoRA가 아직 적합되지 않았는데도 스타일 오염이 시작될 수 있음), 문제가 발생합니다.

예를 들어, 이 의상을 훈련할 때 저는 두 번째 단계인 차이 연단에 overfitting이 심한 LoRA를 사용했습니다(batch size = 4, epoch = 12, average key norm > 0.96). batch size = 4이고 epoch > 10이 되자 모델이 스타일 오염의 징후를 보이기 시작했지만, epoch 10 이전에는 의상이 underfitting 상태였습니다. 모델의 dim 값이 낮아 후속 스타일 변화가 크지 않을 것으로 예상되므로, 타겟 컨셉 훈련의 난이도를 우선 낮추기 위해 epoch = 10 또는 11의 마스크 LoRA를 두 번째 단계 훈련에 사용해야 합니다.

이 모델은 국내 어떤 AI 플랫폼에도 업로드되지 않습니다. 왜냐하면 대부분의 플랫폼은 매우 엄격한 이미지 심사 제도를 운영하기 때문입니다. 업로드하면 샘플 이미지 하나도 올라가지 않아 매우 짜증날 것 같습니다.

모든 인물 모델은 자체 훈련한 모델입니다. 사이트 내 다른 인물 모델을 사용해 결과가 좋지 않다면, 절대 나쁜 평가를 달지 마세요. 이 모델은 정말 훈련하기 어렵습니다.

코멘트 섹션에서 연단 경험을 나누어 주세요.