See-through body | Experimental

v2.4

@Foredev의 팁 덕분에 많은 실험이 가능했습니다. 이 버전은 마침내 v1보다 나은 결과를 만들어내지만, 여러분의 사용 경험에서 어떻게 비교되는지 듣고 싶습니다.

표정 같은 특정 특징을 전체 강도로 프롬프트하면 투명 효과가 압도될 수 있습니다. 프롬프트 가중치를 줄이면(예: "(smile:0.7)"), 두 개념 사이를 성공적으로 보간하는 결과를 얻을 수 있습니다.

v2.3

모델을 개선하려고 여러 번 시도했지만 성공하지 못했습니다. 이 버전은 일부 과거의 아티팩트는 줄었지만 효과를 일관되게 생성하지 못합니다. 이처럼 나쁜 모델을 훈련시키는 데 많은 시간과 노력을 쏟는다면, 그 중 하나라도 여러분이 시도해볼 수 있게 공개하는 게 나을 것 같습니다. 혹시 여러분이 이 모델을 유용하게 써먹을 수도 있을지 모르겠습니다.

v1 - 대형

v1 - 정상 버전과 동일한 데이터셋을 두 배로 큰 LoRA에 적용했습니다. 결과가 유망해 보이지만, 여러분의 피드백을 환영합니다.

v1 - 정상 (권장)

향상된 데이터셋을 사용해 결과가 개선되었습니다. 여전히 강한 스타일 영향이 있어 결과가 애니메이션 스타일로 치우치고, 배경에서는 과적합이 발생합니다. 효과는 배경이 반복 패턴(예: 돌 벽, 콘크리트 길)이거나 피사체를 가로지르는 요소(창문, 테두리 등)를 포함할 때 가장 잘 작동합니다. 이 버전은 이 기능을 위한 태그가 아예 없었지만, "see-through body"와 함께 "see-through head"를 추가하면 머리의 투명도가 개선될 수 있습니다.

"see-through clothes"와 같은 태그를 네거티브에 추가하면 더 투명한 소녀 스타일을 얻을 수 있습니다. 일부 문제는 네거티브에 "tattoo"를 추가함으로써 해결될 수도 있습니다.

v0

개념 검증: 이는 합성 이미지와 수정된 이미지를 사용해 개념을 학습하는 것의 개념 검증입니다. 초기 데이터셋은 매우 작았고 결과 모델은 과도하게 학습되었지만, 개념 이해의 흔적이 보였습니다.

방법 설명

v0과 v1은 모두 별도로 생성된 피사체와 배경을 이미지 편집 소프트웨어를 사용해 반투명한 피사체를 배경 위에 합성하여 만든 합성 데이터로 완전히 훈련되었습니다.

이 접근법의 명백한 단점은 두 구성 요소가 잘 통합되지 않는다는 것입니다. 그렇다면 배경의 시점에 맞춰 전체 신체를 올바르게 배치하려면 어떻게 해야 할까요? 제 해결책은 제가 가장 좋아하는 도구인 라인아트 ControlNet을 활용하는 것이었습니다.
초기 프롬프트는 다음과 같았습니다:

1girl, standing, full body, turning around, looking back, long blonde hair, red jacket, blue jeans, park, grass, bench, concrete path, masterpiece, best quality, amazing detail, high definition

이를 기반으로 독립된 피사체용 프롬프트는 다음과 같이 수정할 수 있습니다:

1girl, standing, full body, turning around, looking back, long blonde hair, red jacket, blue jeans, simple background, masterpiece, best quality, amazing detail, high definition

배경용 프롬프트는:

no humans, park, grass, bench, concrete path, masterpiece, best quality, amazing detail, high definition

단순한 배경을 사용하면 피사체를 마스킹하는 것이 훨씬 쉬워집니다. 그런 다음 완전히 상세한 배경 위에 반투명한 피사체를 겹쳐 놓을 수 있습니다. 심지어 "see-through body"를 이해하지 못하는 모델을 사용해도, 합성 훈련 데이터를 만들어 이 개념을 학습시킬 수 있었습니다. 정말 멋지지 않나요!

이 전까지 저는 이 방법이 타당한지 전혀 몰랐습니다. 결과는 뛰어나진 않지만, 제가 기대했던 것보다 나았습니다.