IllusPony

이것은 Illustrious 2.0과 Pony 모델을 병합한 것으로, Illustrious 2.0의 단점을 제거하는 것을 목표로 합니다.

핫한 의견

정직히 말해서, Illustrious 2.0은 과대평가되었습니다. 이 모델은 Danbooru 이미지 데이터셋만으로 학습되었기 때문에 성인 콘텐츠 생성에 매우 적합하지만, 2000만 개의 데이터셋을 배치 크기 512로 단지 에포크 2까지만 학습했습니다. 따라서 어떤 한 가지 분야에서도 뛰어나지 못하며, 모든 것을 조금씩 할 수는 있지만 제대로 포즈조차 잡지 못합니다. 아티스트 이름에 매우 편향되어 있어 이를 활용할 수 있습니다. 또한 과거 이미지가 너무 많아 실제 렌더링 결과가 셀 셰이딩 색상으로 나와 애니메이션 모델에는 부적합합니다. Pony 모델은 이를 어느 정도 극복했지만, 제대로 학습되어야 하며, 모델 이름이 실제 의미를 나타내지는 않습니다.

머지 과정에서 다양한 레이어를 실험했고, 많은 모델 구성이 테스트되었습니다. 정직히 말해, 절반 이상의 레이어는 NaN 값을 생성하여 무용지물이었습니다. 단지 몇 개의 레이어만 유용했습니다:

XL의 MID 1, 2, 3: 이 3개의 레이어는 스타일, 형태, 색상에 약간 기여합니다.
Out 7,6,5,4
In 9,8,7,6
이 레이어들을 기반으로 조정하여 사용할 수 있습니다.

전반적으로, Pony, Autism, NAI 등에서 학습된 대부분의 LoRA(및 변형)는 별다른 성과를 내지 못합니다.

이것은 아티스트 이름이 모델 학습에 큰 영향을 주기 때문입니다.

학습률로 4e-5를 사용하기로 결정했는데, 이는 캐릭터와 스타일 학습 사이의 적절한 중간값으로 보이지만, 실제로는 아티스트의 스타일만 학습했습니다. 따라서 윤리적 문제가 있으며, “{XXX}의 예술 스타일”이라는 표현을 반드시 사용해야 합니다. 이로 인해 포괄적인 용어는 사용 불가능하게 되었습니다.