Veritas

Veritas RR000

---

illustrious v2.0을 EmoFact v3.6을 사용해 여러 번의 전체 계층 LoRA로 완성했습니다.
e-pred + ZtSNR 방식입니다(v-pred 아님), 최초의 IL 버전입니다. EmoFact는 꽤 좋은 느낌입니다.
거칠게 다듬어진 부분이 있으므로, "모든 사용자에게 적합한 모델은 아닙니다"라고 생각합니다.

ZtnV(e-pred + ZtSNR)에 대해:
Zero Terminal SNR / Debiased Estimation을 Kohya-Script에서 사용하고 있습니다.
epsilon Prediction은 발산한다고 알려졌지만, emo 계열은 안정적으로 진행됩니다.
즉, e-pred의 뛰어난 일반화 능력과 ZtSNR의 넓은 색역을 동시에 가질 수 있습니다.

Flow-Matching(FM)과의 비교:
이 조합은 Flow-Matching(FM)을 능가할 가능성을 지닐 수 있습니다.
FM은 일반화 능력이 떨어지고 학습은 복사에 가깝습니다(구조 및 색역은 정확하지만).
그러나 구조의 정확도는 오히려 Attention 계층의 많고 적음이 핵심일 것입니다.
일반화 능력이 뛰어나고 샘플러의 자유도를 가진 e-pred가 오히려 최적 아닐까요?

FM의 단점:
FM 방식은 논문에서는 고정밀·고수렴으로 평가되지만, 실제론 수렴이 어렵습니다.
이것은 노이즈에 취약하기 때문입니다. 약간의 진동만으로도 파괴적이 되며 출력 결과에 영향을 미칩니다.
(e-pred는 그 노이즈를 이용해 학습하므로 노이즈 자체가 학습의 근원입니다.)
앞으로는 저정밀·양자화 시대가 도래합니다. 이는 많은 노이즈를 포함한 학습입니다.
FM 방식은 이 노이즈가 학습을 방해하므로 기본적으로 부적합합니다.

---

라이선스:
라이선스는 원본 모델 illustrious v2.0을 계승합니다.
그러나 실험적 optimizer인 emo 계열로 조정된 버전이므로 사용 시 주의가 필요합니다.
예기치 못한 오류가 포함될 수 있으므로 병합 등에 대해 신중해야 합니다.
따라서 기본적으로 illustrious의 라이선스를 계승하되, 일부 제한을 두겠습니다.
병합 등으로 공개할 경우 위의 주의 사항을 명시해 주시기 바랍니다.