AnyLoRA 애니메이션 믹스 (AAM)

애니메이션 스크린캡 스타일 모델

제가 하는 일을 마음에 들어하시나요? Patreon 🅿️에 후원해주세요. 또는 저에게 커피 한 잔 사주기 ☕도 환영입니다.
좋아요 ❤️, 따뜻한 댓글, 또는 리뷰는 매우 감사히 받겠습니다.

또한 AAM XL도 확인해보세요

이 모델의 목적

• 자체적으로 놀라운 애니메이션 스타일 작품을 만들어냅니다.

• 데이터셋의 대부분이 애니메이션 스크린캡으로 구성된 캐릭터 LoRA를 훈련시켜, 애니메이션 스타일 전이가 적고 과적합도 줄일 수 있도록 합니다.

• LoRA가 약할 경우, 평탄한 색상 표현이 부족하다면 애니메이션 스타일을 자연스럽게 사용합니다.

• 헤닌 stuff 생성에도 매우 우수합니다.

추천 설정

• ETA 노이즈 시드 델타 (ENSD)를 31337으로 설정하세요

• CLIP 스킵을 2로 설정하세요

• 얼굴 복원 기능은 비활성화하세요. 매우 나쁩니다. 절대 사용하지 마세요

• 스타일을 해치지 않는 음성 프롬프트와 임베딩을 사용하세요

• 확장기로는 AnimeVideo 또는 Foolhardy를 사용하세요. 알고 계신다면, Latent도 흥미로운 효과를 줍니다 (첫 번째 예시와 미쿠 버전 참고)

• (일부 결과를 재현하기 위한 선택 사항) "다른 배치 사이즈 간에 DPM++ SDE를 결정론적으로 만들지 말 것"을 설정하세요. 다만 이 설정은 제가 오래된 이미지에서만 사용했을 뿐입니다.
  이 설정은 실제로 좋지 않으므로, 제거할 예정이지만, 일부 결과가 다른 이유일 수 있음

LCM 버전
5-15 스텝, 약 2의 cfg로 사용하세요. LCM 버전은 LCM 샘플러에서만 작동합니다 (Auto1111에서 사용하려면 현재 플러그인이 필요합니다).

이 모델은 축소된 버전이기 때문에 기본 모델보다 품질이 낮습니다. 하지만 훨씬 더 빠르며, 영상 및 실시간 애플리케이션에 최적입니다.

간략한 역사

디스코드에서 대화하면서, 애니메이션 스타일 LoRA를 AnyLoRA 기반으로 훈련시킨 내 Mushoku Tensei 스타일 LoRA가, CyberAlchemist의 AnimeMix 기반 모델에서 더 잘 작동하는 것을 발견했습니다. 그의 HF 설명에는 이 모델이 AnythingElse, 그의 AnimeMix LoRA, 그리고 여러 다른 스타일 LoRA의 슈퍼머지(supermegre)라고 되어 있었습니다. 이미 AnimeMix는 제 오래된 애니메이션 스타일 LoRA들이 대체로 포함되어 있었기 때문에, AnyLoRA와 AnimeMix가 가능하게 하는 것 이상을 달성할 수 있도록, 제 Mushoku Tensei 스타일의 결과를 극대화할 수 있는 모델을 실험해보고 싶게 되었습니다.

여러 버전을 테스트하고 설정을 조정하며 디스코드 채널에서 피드백을 받은 끝에, AnyLoRA(기본) 기반으로 훈련된 애니메이션 LoRA(특히 제 Mushoku Tensei LoRA)에 매우 잘 작동하는 버전을 완성했습니다. AnyLoRA에서 매우 약하게 느껴졌던 제 LoRA가 이 모델에서는 훨씬 더 강력하게 작동합니다.

이 모델을 애니메이션 스타일 훈련에 사용하는 것은 추천하지 않습니다 (AnyLoRA나 NAI 기반으로 훈련한 후에만 생성에 사용하는 것이 좋습니다). 하지만 데이터셋이 주로 애니메이션 스크린캡인 캐릭터 LoRA에는 오히려 매우 적합할 수 있습니다. 이로 인해 애니메이션 스타일의 영향이 기술적으로 줄어들어 캐릭터 LoRA의 과적합이 줄어들 수 있습니다. 앞으로 몇 주간 저는 이 모델에 대해 계속 실험해볼 계획입니다.