LyCORIS-GEM

저의 MIX-GEM-T2_2 모델(및 일부 다른 MIX-GEM 출력을 보완용으로 사용)의 출력을 기반으로 훈련된 실험적 LoCon입니다. 저는 이 모델을 제 이상적인 미학에 맞추기 위해 많은 시간을 투자해 세밀하게 조정했으며, 새로운 SDXL 베이스에서 처음부터 리믹스하는 대신 모델에서 직접 스타일을 추출하려고 합니다. 출력은 매우 깨끗하지 않으며, 이 LoCon은 많은 문제점을 가지고 있습니다. 더 깨끗한 출력을 사용하여 데이터셋을 몇 번이고 재생성해야 할 가능성이 높습니다. 이 LoCon에는 여러 버전이 생길 것이며, 이는 반복적인 과정이 되어 많은 재훈련을 수반할 것입니다.

프로토타입을 통해 얻은 통찰:

• Prodigy는 PonyXL에서 스타일 LoCon을 훈련시킬 때 AdamW8bit보다 성능이 더 나쁩니다. 학습률을 높여도 AdamW8bit보다 훨씬 적은 것을 유지합니다. 그러나 Prodigy는 기본 모델의 자세를 훨씬 빠르게 파괴하는 반면, AdamW8bit는 원래 자세를 훨씬 잘 유지합니다.

• LoCon은 LoRA보다 스타일 훈련에 더 우수합니다.

• 스타일 유지와 함께 작은 오류가 확대됩니다. 일반적인 스타일 훈련에서는 큰 문제가 되지 않지만, SD1.5 출력을 기반으로 훈련할 때는 불필요한 노이즈가 미학적으로 의미 없는 임의의 요소로 확산되는 방식 때문에 매우 심각한 문제입니다. 따라서 깨끗한 출력만 선택해야 합니다.

향후 시도할 사항:

• 흰 배경 정규화 이미지

• 손을 가능한 한 숨기기

• 저작권 캐릭터를 데이터셋에 포함하기

테스트 결과, 이상하게도 이 LoCon은 autismMixSDXL에서는 성능이 나쁘며 많은 디테일이 흐려지지만, 4th tail에서는 매우 우수하게 작동합니다.