Manything, 실험적 개념 증명

이 모델은 단일 목표를 가진 간단한 개념 증명입니다: SD 모델들이 일반적으로 겪는 "동일한 얼굴" 문제를 해결할 수 있는지 검증하는 것입니다.

이 이름은 이 실험에 사용된 기본 모델 Anithing에서 비롯된 말장난이며, 모델이 다양한 얼굴을 생성할 수 있도록 만들겠다는 아이디어를 반영합니다.

문제점

"동일한 얼굴" 문제는 잘 알려져 있으며, 모든 스타일의 모델에서 쉽게 관찰할 수 있습니다. 오랜 시간 동안 여러 모델이 서로 병합되면서, 단순히 다른 가발과 복장만으로 이 같은 소녀의 얼굴을 생성하지 않는 모델을 찾는 것은 매우 어려워졌습니다. 이를 피하려면 특수한 '블랙 마법'을 동원해 모델에 다른 결과를 강제로 유도해야 합니다.

더욱 복잡한 것은, 이 얼굴이 많은 개념들과 연결되어 있어, 해당 개념을 사용하면 자동으로 이 얼굴이 생성되게 되었다는 점입니다. 예를 들어:

1girl, girl, woman, female, human, person, realistic, hyperrealistic, photo, photorealistic, masterpiece, best quality, ...

또한, 이 얼굴은 그림의 그림자, 구도 등 핵심 구성 요소들과도 결합되어 있어 문제를 해결하는 것이 결코 간단하지 않습니다.

어떤 경우에서는 동일한 얼굴의 영향이 극도로 강해, 남성 캐릭터를 생성할 때도 눈에 띄게 나타납니다.

이러한 문제를 겪지 않는 모델을 사용할 경우, 일반적으로 생성되는 얼굴은 프롬프트의 나머지 부분에 기반해 맥락에 맞게 자연스럽게 조정되며, 별도로 모델을 강제로 유도할 필요가 없습니다.

실험 방법

문제를 해결하는 비교적 단순한 방법은 "동일한 얼굴"을 생성하는 모델의 레이어를 식별한 뒤, 가중치 블록 병합(WBM)을 통해 문제 없는 모델의 레이어로 교체하는 것입니다. 그러나 이 방법은 모델의 행동 방식을 근본적으로 변화시킵니다.

대신, 동일한 얼굴 문제를 제거하면서도 다른 모델 특징은 유지하는 비교적 간단한 반복적 절차를 사용했습니다.

결과

동일한 얼굴 문제를 제거하면서 모델의 나머지 부분을 원본과 완전히 동일하게 유지하는 것은 불가능했습니다. 그러나 실험의 초기 결과는 더 다양한 얼굴을 쉽게 생성하며, 동일한 얼굴 소녀의 영향력이 크게 줄어들었습니다. 무엇보다도, 생성된 얼굴들은 인식하기 쉬운 "동일한 얼굴" AI 얼굴이 아니라 평균적인 인간의 특징과 비율에 더 가까워졌습니다. 나머지 프롬프트가 생성되는 얼굴에 더 큰 영향을 미치게 되었습니다.

쇼케이스에 포함된 모든 이미지는 동일한 시드와 네거티브 프롬프트를 사용하여, 두 모델을 동일한 조건 하에서 비교했습니다.

추가적인 테스트가 있다면 더 많은 버전이 나올 수도 있지만, 현재로서는 단순히 가능성을 확인하는 데 목적이 있었습니다. 이 모델은 원본 모델과 동일한 설정으로 사용할 수 있습니다.