Waifu Painting (JWW)

SD2.x 모델(예: Waifu Diffusion 1.5) 전용이며, SD1.x 모델(예: Anything, AOM, Counterfeit 등)에서는 작동하지 않습니다.

Waifu Diffusion 1.5 beta2에서 훈련된 페인팅 스타일 LoRA로, 영감을 준 데이터는 존 윌리엄 워터하우스의 그림들(위키백과에서 수집한 69개 파일)로, 거의 태그가 없었습니다.

노이즈 오프셋 = 0.1로 훈련되었으므로, 노이즈 오프셋이 없는 다른 LoRA와 충돌할 수 있습니다.

또한, 순수한 풍경을 잘 생성하지 못합니다. 존 윌리엄 워터하우스는 순수한 "와이푸" 및 신화 주제의 화가이기 때문에, 그의 모든 작품에는 인간 인물이 포함되어 있으며(이 문제는 v2에서 시도하여 개선해보았습니다), 배경만 있는 부분을 제거하거나 교체하는 방식으로 해결했습니다.

훈련 파라미터:
v1: UNet과 text_encoder 모두 학습률 1e-5, 스케줄러는 일정하게 유지하며 워밍업 적용. 이미지 반복 횟수 = 10.

v2: 동일한 학습률지만, 증강된 데이터를 사용. 예를 들어, 배경만 있는 그림의 일부(예: https://files.catbox.moe/ad6tyo.png)를 추출하여 훈련 데이터셋에 추가했습니다.

v3: 배경 부분을 새로운 이미지로 자르는 대신, 인물 부분을 지우는 방식으로 시도했으나, 효과가 좋지 않았습니다.