【Art Style】Hiten

2023.9.20

Loha 스타일 훈련에서 alpha 값의 영향을 연구하면서 한 버전의 모델을 함께 훈련했습니다.

결론: alpha 값이 낮을수록 모델은 화면 요소를 개념화하는 방향으로 더 잘 학습합니다(스타일에 약간의 영향이 있음, 이는 랜덤 오차인지 불분명). 또한, 출력 시 원래 화면 요소를 최대한 유지하려 하며 화면의 조화를 과도하게 고려하지 않기 때문에, 낮은 alpha 값에서는 모델이 프롬프트에 더 민감해집니다. alpha = dim일 때, 모델은 Loha를 완전히 참조하여 출력하고 화면의 불균형 요소를 제거해 화면을 더 깔끔하게 만듭니다. 따라서 높은 alpha 값에서는 모델이 프롬프트에 덜 민감하며, 더 나은 이미지를 생성하는 방향으로 우선순위를 둡니다.

예를 들어, 짐 위에 앉아 있는 드레스를 입은 소녀 이미지에서, 낮은 alpha 값을 가진 모델로 생성하면 소녀는 카드를 손에 들고 있을 뿐만 아니라 배경에도 카드 테두리가 추가됩니다:

alpha 값의 설정은 각자의 판단에 따라 다릅니다. 너무 낮게 설정하면 부차적인 프롬프트를 AI가 과도하게 해석하여 실제 사용 시 불편해질 수 있고, 너무 높게 설정하면 호출하기는 쉬우나 프롬프트에 대한 복종도가 낮아집니다. 구체적인 설정은 훈련 목적에 따라 달라집니다. 여기에 업로드한 것은 alpha 값이 높은 버전으로, 사용이 더 편리합니다.

2023.8.30

204장의 이미지를 사용하고, 옵티마이저로 Prodigy를 적용했습니다.

이 적응형 옵티마이저는 파라미터 수정으로 인한 학습률 계산 문제를 완벽히 해결해 주며, 파라미터 조정에 서툰 저 같은 게으른 사람에게 매우 적합합니다. 강력히 추천합니다. 여러 차례 실험 결과, 큰 훈련 세트와 배치 크기 하에서 스타일 훈련 시 두 학습률을 모두 1로 설정하고 coef를 2로 설정하는 것이 최적의 효과를 냈습니다.

기타 파라미터는 특별히 수정하지 않았으며, 피라미드 노이즈를 사용하고, 모델의 일반화 성능을 높이기 위해 최소 SNR 감마 값을 5로 설정했습니다. 출력 모델에는 모두 NAI와 EasyNegative를 사용했습니다.