Ema Yasuhara (SHIROBAKO) | 11 Costumes | Character LoRA | IllustriousXL

나는 디스코드 서버인 Jerry's Waifu Lab에서 AngelBottomless가 만든 훌륭한 SDXL 모델인 IllustriousXL을 발견한 후 죽음에서 되살아났다. 그래서 나는 1.5 모델보다 더 나은 결과를 얻을 수 있기를 바라며 웨이푸 트레이닝에 이 모델을 사용하기로 결정했다. 처음에는 OneTrainer를 사용해 보았으나, SDXL 모델에서 pivotal training을 사용할 때 추가 임베딩을 많이 사용하면 WebUI에서 "KModel version mismatch" 오류가 발생해 LoRA가 무용지물이 되는 문제를 발견했다. 그래서 나는 수년 전 사용했던 Derrian이 만든 오래된 Kohya SS GUI로 돌아가기로 결정했다. 이때 Qelt이라는 사람이 제공한 설정 파일을 사용했는데, 그는 "이제 ****-만큼의 이미지가 필요하지 않아, 10~30개면 충분해"라고 말했다. 나는 이 방법이 OneTrainer에 Prodigy 옵티마이저를 사용했을 때와 동일한 정확도를 제공하지만, 이번에는 Came 옵티마이저와 Rex 스케줄러를 사용한다는 것을 알게 되었다. 안타깝게도 Kohya SS는 완전히 pivotal training 지원을 추가하지 않아, 그녀의 11벌의 의상 각각을 수동으로 태그해야 했다. 그래도 이 웹사이트가 자체 데이터셋 태거를 추가해 주어서 WebUI 태거보다 훨씬 간결하고 체계적이어서 정말 도움이 되었다.

결과에 상당히 만족한다. 일부 의상의 미세한 디테일이 완전히 무시되거나 정확하지 않던 점은 OneTrainer와 pivotal training을 사용했을 때와 거의 동일했다. 만약 누군가가 데이터셋에서 가장 작은 디테일까지 의상을 정확히 포착하는 방법을 알고 있다면, 그 모든 것을 배우고 싶다.
모든 의상을 데이터셋 이미지에 더 정확히 맞추기 위해 800스텝 이상이 필요했고, 2000~3000스텝이 가장 이상적인 범위였다.

내 프로필에는 내가 오래전에 트레이닝한 이 캐릭터의 1.5 모델이 있다. 하지만 IllustriousXL을 발견한 이후로 나는 절대 다시 1.5 LoRA를 트레이닝하지 않을 것이다. 이 모델은 Aurora ONE보다 훨씬 나은데, 다양한 캐릭터와 아티스트를 위한 충분한 데이터를 가지고 있기 때문이다(그러나 예술 스타일 트레이닝은 계속할 것이다!).

그녀의 각 의상에 대한 프롬프트는 여기에 모두 게시할 필요가 없기 때문에, 각 의상에 필요한 설명 태그가 너무 많아 오른쪽에 위치해 있다.