Ponytail LECO Experimental

경고: LECO로 사용하면 실패하지만, 모델이 고/저 플랫테일로 마무리되도록 돕는 데 도움이 될 수 있습니다.

제가 시도해본 수십 개의 애니메이션 모델들 중 고_플랫테일과 저_플랫테일을 생성하지 못하는 것이 밝혀졌습니다. 그래서 이 개념이 단지 학습이 부족한 것일 수 있다고 생각하고, 이를 기반으로 LECO를 만들어보았습니다. 결과는 완전한 실패였습니다.

이후 생각을 정리해보니, 이론적으로 저_플랫테일(N15G)과 고_플랫테일(golkolea) LoRA를 모델에 혼합한 후, 그 모델을 기반으로 LECO를 학습할 수 있을 것이라고 판단했습니다. 어차피 모든 모델이 이 태그들을 실제로 알고 있지만 표현하지 못하는 것일 가능성이 높다고 생각했기 때문입니다.

결과는... 약간 성공했습니다. 생성된 LECO는 -1.5에서 1.5 사이에 매우 넓은 '무효 구간'이 존재하며, 이 구간에서는 거의 아무런 효과가 없습니다. 효과가 나타나는 구간은 -1.5에서 -2.0, 그리고 1.5에서 2.0 사이이며, 그 이상이 되면 모델이 과도하게 작동하여 붕괴됩니다.

또한 플랫테일에 대해 많은 것을 배웠고, 그 중 일부는 여전히 이 LECO에 적용됩니다:

• SD는 정면 시점에 편향이 있어, 어떤 종류의 플랫테일도 프로파일, 뒷모습, 혹은 3/4 시점에서만 일반적으로 생성됩니다.

• 애니메이션 SD 모델들은 평균보다 높은 위치의 플랫테일에 매우 편향되어 있으며, 진짜 고_플랫테일은 아니지만, 머리 뒤쪽 중앙에서 나와야 할 위치가 아니라 더 위쪽에서 생성됩니다. 예: / 대신 —

요약하자면, 이 LECO는 다음과 같은 제약 사항이 있습니다:

• 이미 플랫테일이 존재할 경우 약 80% 확률로 작동합니다.

• 모델의 자연스러운 편향을 극복하기 위해 매우 높은 가중치가 필요하며, 1.5에서 2.2 사이가 적절합니다.

• 고_플랫테일과 저_플랫테일 개념은 일반 플랫테일과 충돌하며, 실제로 매우 강하게 학습되어 모델이 2.2를 넘어서면 붕괴되기 시작합니다.

• 사용 가능한 범위가 매우 좁습니다.

• 붕괴: -2.2는 작동, -1.5는 효과 없음, 1.5는 작동, 2.2는 붕괴

저는 이 결과에 만족하지 않지만, 흥미로운 실험이었습니다. 시간이 된다면 향후 더 나은 V1 버전을 만들 수도 있을 것입니다.

여기에 LECO를 학습시키기 위해 사용한 모델에 혼합한 LoRA 리소스도 추가하겠습니다. 따라서 진짜로 고_플랫테일이나 저_플랫테일이 절실히 필요하다면, 이 LoRA도 함께 사용할 수 있습니다.

관심 있는 분들을 위해, 저는 Kohya의 LoRA 병합 도구(sd_scripts\networks)를 사용하여 NAI에 고_플랫테일과 저_플랫테일 생성 능력을 부여할 수 있었습니다. 다음 명령어로 병합했습니다:

py merge_lora.py --sd_model D:\wifediff\stable-diffusion-webui\models\Stable-diffusion\final-pruned.ckpt --save_to model_lora_merge.safetensors --models D:\wifediff\stable-diffusion-webui\models\Lora\Super_highhigh_ponytail_hair-000002.safetensors D:\wifediff\stable-diffusion-webui\models\Lora\low_ponytail-1.0.safetensors --ratios 0.3 0.5