환영합니다!

이것은 OPEN 미세 조정 실험입니다. 즉, 저는 이 미세 조정을 만드는 데 사용한 모든 것을 여러분에게 제공하겠습니다.

경고: 기본 CFG 값을 7로 사용하지 마세요! cfg=3~6이 일반적으로 최적입니다

학습 데이터셋은 https://huggingface.co/datasets/ppbrown/danbooru-cleaned의 하위 집합입니다.
자세한 내용은 아래에서 확인하세요.

배경 이야기

이상주의적인 관점에서, 저는 모든 것과 최대한 호환되는 미세 조정 모델을 만들고 싶었습니다. 그래서 항상 SDXL 베이스 모델만으로 학습하려고 노력했습니다.

그러나 이번 미세 조정 실험을 진행하면서, SDXL 베이스 모델에서 엄청나게 나쁜 결과가 나왔습니다.
색상은 괜찮았지만, 어떤 이유에서인지 인물의 모습이 매우 어색했죠.

그래서 저는 지금까지의 호환성 원칙을 일시적으로 포기하고, 인간을 더 잘 그려내는 모델인 Juggernaut를 선택했습니다.

슬픈 사실: 사실 최신 버전의 Juggernaut는 애니메이션 스타일도 꽤 잘 구현합니다 :-(

그러나 제가 사용하던 HuggingFace의 "Juggernaut XL" 모델은 그렇지 않았기 때문에, 제 출발점에서는 여전히 기술적으로 개선된 것입니다. (이것은 Juggernaut 9입니다)

저는 제 여정의 일부 세부 사항을 다음 주소에 기록했습니다:

RTX 4090에서 OneTrainer를 사용하여 다음과 같은 주요 설정으로 학습했습니다:

입력 형식: bf16
학습 형식: bf16
학습률: 1e-05, 상수. 배치 크기=1, 100 에포크
EMA 스텝: 100, EMA는 CPU에서, XFORMERS 어텐션 사용, 그래디언트 체크포인팅 활성화

텍스트 모델 학습은 하지 않았습니다

학습 설정에서 해상도를 1024로 지정했지만, "컨셉" 정의에서 해상도 오버라이드를 활성화하지 않았습니다.

이 설정으로 약 2IT/s의 속도를 달성했고, VRAM을 약 16GB 사용했습니다.

다음 주소의 스크립트를 활용할 수 있습니다:

입력 파일은 다음을 사용하세요:

이를 통해 관련 .jpg 파일과 필요한 .txt 태그 파일을 모두 다운로드할 수 있습니다.

참고: 이 모델은 Juggernaut 기반으로 만들어졌기 때문에, Juggernaut 라이선스를 따릅니다!!