DJ Username motion lora

고양이 멤스는 베이스다

저는 단지 재미로 훈련한 rofl 모션 LoRA를 여러분과 공유하게 되어 기쁩니다. 그런데 예상외로 정말 잘 작동하네요 lol

키보드 고양이 멤스를 기반으로 훈련, 16프레임, 512x344 해상도

mm_sd_v15_v2, dreamshaper8, 350스탭

키워드: 고양이가 신디사이저를 연주하는 모습

3060ti 8GB에서 5시간 훈련

훈련 가이드

제가 찾은 최적의 설정:

a (사용자명:1.1)가 (DJ 콘솔:1.1), 신디사이저를 연주하는 모습; 그리고 chill zone, lofi vibe, ambient sound beats 같은 분위기 토큰들

강도: 0.777

해상도: 512x512

프레임: 64-80

AnimateDiff Lightning 8스탭으로 8-9스탭

CFG: 2.5

Euler + sgm_uniform

Ip-Adapter-plus 사용, weight_type: "weak output" 및 "easy out"

약한 출력은 생성 마지막에 손을 자연스럽게 연결할 수 있게 도와줍니다. 왜냐하면 모델이 참조 이미지에서 손을 강하게 학습하지 않았기 때문이죠. 하지만 이 방법이 만능은 아닙니다.

여러분의 설정도 공유해주세요! 향후 더 나은 멤스를 만들 데 큰 도움이 될 거예요 lol

IpAdapter:

이것은 저는 항상 Animatediff와 함께 사용하는, 스타일을 설정하는 데 매우 유용한 기능입니다.

v2는 프롬프트 스타일을 매우 잘 이해하지 못하기 때문에, 참조 이미지 + 짧은 프롬프트 + 약간의 스타일 프롬프트를 조합하는 것이 훨씬 효과적입니다.

목표는 몸과 손의 포즈를 담은 참조 이미지를 정교하게 제공하여 자연스럽게 연결되도록 하는 것입니다.

예를 들어, 손을 위로 뻗은 포즈는 모델이 테이블 위에 손을 둔 상태로만 학습되었기 때문에, 99.99% 확률로 '유령 손'이 생깁니다.

Pinterest에서 참조 이미지를 찾는 것을 추천합니다. 또한 제가 몇 명의 DJ들을 모은 보드를 만들었고, 커뮤니티의 사진 공유에 감사드립니다. 저도 이제 Pinterest에서 시작할 예정입니다 <3

참조 이미지를 자유롭게 조합하고 혼합하세요, 괜찮아요 형!

P.S. weight_type과 Combine Embeds에 더 많은 실험을 해보세요

해상도:

훈련 과정에서 실수를 했습니다. 256x384 (2:3) 대신 256x344 (32:43)로 훈련했기 때문에, 기본 해상도로 생성하면 일부 아티팩트가 생깁니다. 우유우

512x512에서 매우 잘 작동하지만, 다른 해상도에 대한 실험은 많이 하지 못했습니다.

하지만 512x384, 512x640, 640x512에서도 좋은 결과를 얻었습니다.

아티팩트를 최소화하려면 세로 또는 가로 출력을 원한다면, IpAdapter에 사용할 참조 이미지의 종횡비도 유사해야 합니다.

총 프레임 수(제 의견):

32 - 최대 일관성, 최소 움직임 (손 하나만)

48 - 조금 더 움직임, 하지만 손 연결에 프레임이 부족할 때도 있음

64 & 80 - 여러 포즈와 손 흔들림이 있는 최고의 결과

P.S. 유령 손이 생기면 프레임을 16장 추가하거나 제거해보세요

로드맵:

2-3개의 휘두르는 고양이를 384x256 해상도로 훈련 (다음 단계)

Runpod 호스팅 및 해상도 향상

훈련 시 사람을 사용하지 않음 (단지 재미로)

더 미친 동작 LoRA 만들기

제 링크트리