Judy Hopps (On Model)
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
이것은 제가 직접 만들려고 시도한 저디 핫프스 LoRA입니다.
기본 모델들은 저디 핫프스에 대해 충분한 지식을 가지고 있으며, 이미 수많은 LoRA가 존재하지만, 많은 LoRA와 모델들이 팬아트를 중심으로 학습되었습니다.
저는 저디 핫프스 팬이라 여겨, 저디를 가능한 한 정확히 재현해보고 싶었습니다.
V3가 출시되었습니다!
이 모델을 사용하는 것을 권장합니다: /model/3671?modelVersionId=1623867
수개월의 노력 끝에, 마침내 저의 On Model 저디 핫프스 LoRA V3를 완성했습니다. 이 작업은 2.5 버전이 출시된 직후인 10월부터 시작되었습니다. 데이터셋이 방대했기 때문에 모든 이미지를 확인하고 캡션을 달기까지 오랜 시간이 걸렸지만, 캡션은 여전히 최대한 완벽하지는 않습니다(저는 자동 태그 도구 없이 단순히 Booru 스타일로 수동으로 캡션을 추가했습니다).
그럼에도 불구하고, 자세와 옷차림에 대한 충분한 지식을 갖추고 있을 것입니다.
이 모델을 훈련시키는 동안 다양한 모델을 시도하며 오랜 시간을 보냈습니다. 먼저 Pony V6, Illustrious 1.0을 사용했고, 그 후 NTRMix와 Gehenna를 시도했습니다.
Illustrious 1.0 버전을 출시하려고 했으나, 사용자들에게 Gehenna 2를 기본 모델로 사용하도록 안내하려 했습니다. Gehenna 2는 꽤 훌륭한 결과를 도출했지만, 영화의 원래 스타일을 많이 잃어버리고 특정 트리거 단어와 옷차림을 정확히 렌더링하지 못했습니다.
불행히도 IL 1.0의 결과는 너무 불안정하여 기본 모델로 추천하기 어렵습니다.
최근에는 YiffyMix를 실험해 보았는데, 이 모델은 프롬프트 이해도가 매우 뛰어나고 무엇보다 장면 일관성도 탁월했기 때문입니다. 하지만 제공된 설정을 따라도 출력물이 너무 “过度해 보이는” 문제가 있었습니다.
그래서 저는 Yiffy의 향상된 프롬프트 준수성과 일관성을 얻고자, V3를 YiffyMix로 학습하기로 결정했습니다. 그리고 출력물이 타버리지 않기를 바랐죠.
정말 놀라운 일이었습니다. 왜 더 일찍 시도해보지 않았던 것일까요?
이전에는 벽에 머리를 박으며 다른 모델로 학습을 반복해, 이미지 품질과 일관성을 개선하려 했는데, 정답은 단순히 Yiffy로 학습하는 것이었습니다. ㅋㅋ
이제 더 나은 기본 모델이 나오기 전까지, 이 버전이 가장 최적의 결과일 것이라 생각합니다. 따라서 이 버전이 당분간 마지막 버전이 될 것입니다.
그러나 Pony V6용 버전은 만들지 않습니다. 초기에는 실제로 Pony로 학습을 시작했지만, 이유는 불분명하지만 캡션을 추가하자 결과가 완전히 망가졌습니다. 따라서 Pony 사용자는 여전히 2.5 버전을 사용하는 것이 가장 좋습니다. 그 외에는 Yiffy를 꼭 시도해보시길 강력히 권장합니다.
(이전 버전 V2.5)
2.5 버전은 제가 수동으로 모든 이미지에 캡션을 달기 전의 마지막 버전이 될 것입니다.
이 버전은 V2에서 저디의 기본 경찰복에서 벗어나기 어려웠던 문제를 보완하기 위해 다양한 옷차림을 제어할 수 있도록 추가했습니다. 여러 옷차림 태그 외에도 영화 속 몇 가지 특별한 자세에 대한 태그도 추가했습니다. 테스트 결과, 이 버전은 생성물의 일관성을 크게 향상시켰고, 이 갤러리의 모든 예시 이미지는 기본 모델로 Pony V6를 사용해 생성되었습니다.
옷차림을 지정할 때는 트리거 단어 외에도 수동으로 원하는 옷을 명시해야 할 수 있습니다. 예: "judyciv, white tshirt", "judyfrm, pink shirt" 등. 더 많은 예시는 이미지 참조하세요.
옷차림 태그
"judyhopps": 모든 이미지에 사용하는 기본 트리거 단어.
"judyblu": 경찰 복장.
"judyfrm": 분홍색 셔츠를 입은 농장 복장.
"judyciv": 줄리아에 처음 도착했을 때 입은 흰색 티셔츠 위에 검은 셔츠와 검은 바지를 입은 복장.
"judymtr": 주차 단속원 복장.
자세/개념 태그
"judymicbang": 마이크에 둘러싸인 저디, 좀 의심스러워 보임.
"judyact": 혀를 내밀며 죽은 척하는 장면.
"judyback": 자연사 박물관에서 등상태로 누워 있는 저디.
"judychairclimb": ZPD에서 과도하게 큰 의자에 올라가려 할 때 보이는 엉덩이 각도의 장면.
"judycry": 닉에게 사과하며 울고 있는 저디.
"judydance": 영화 마지막, 가젤 콘서트에서 춤추는 저디.
"judymultiply": 토끼는 번식이 빠르다고 장난치며 사교적인 자세를 취하는 장면.
"judypeek": DMV 카운터 위로 엿보려는 저디.
"judysquish": 큰 포유류 두 마리 사이에 끼인 저디.
"judytrainlean": 기차 컨솔에 기대어 있는 저디의 뒷모습.
"judytrainhang": 기차 옆에 매달린 매력적인 자세로 어깨 뒤를 돌아보는 저디.
"judykneel": 주차 단속원 복장으로 인도 위에 무릎을 꿇은 저디. 제가 좋아하는 자세 중 하나입니다.
"judytrainrecline": 기차 컨솔 위에 등을 대고 누워 있는 저디.
자세마다 효과가 다르니, 다양한 조합을 실험해보세요.
다음 버전:
남은 유일한 작업은 모든 이미지에 캡션을 추가하는 것이며, 이 작업을 통해 일관성과 제어력의 남은 문제를 해결할 수 있을 것입니다.
(이전 버전 V2)
이 버전은 데이터셋에 약 500장의 이미지를 추가하여 총 1,146장으로 구성되었습니다. 가장 큰 개선점은 얼굴 렌더링, 캐릭터 정확도, 그리고 전반적인 렌더링 품질입니다.
V1에 캡션을 추가한 버전 1.5를 만들 계획이었으나, 결과가 충분히 좋지 않았고 일부 경우 캡션을 추가할수록 오히려 나빠졌습니다.
이번 출시 버전은 여전히 캡션이 없으며, 트리거 단어는 judyhopps입니다. 주로 AutismMix Confetti로 생성했으나, 영화 스타일에 최대한 가깝게 하고 싶다면 기본 모델로 Pony V6를 사용하는 것을 추천합니다. 메모리가 충분하다면, 초기 이미지는 Autism으로 생성하고, 60% 정도에서 Pony V6를 리파이너로 사용할 수 있습니다.
닉이 여러 스크린캡에서 등장하기 때문에, 프롬프트에 "male fox"를 포함시키면 그를 잘 렌더링할 수 있습니다.
알려진 문제:
- 옷차림 정확도는 향상되었으나, 옷을 변경하기가 더 어려워졌습니다. 특히 기본 경찰복으로 고정되는 경향이 강합니다. LoRA의 강도를 낮추고 원하는 옷차림의 강도를 높이면 도움이 됩니다. 예: LoRA 0.7, 옷차림 1.2로 시작해보세요.
이 문제는 캡션을 추가하면 거의 해결될 것으로 예상합니다.
- 귀가 위아래로 동시에 렌더링되는 경우가 있습니다. 이는 V1에서도 발생한 문제입니다.
다음 버전:
남은 유일한 작업은 옷을 변경할 수 있도록 이미지에 캡션을 추가하는 것입니다. 그 외에는 이 결과에 매우 만족합니다.
(이전 버전 V1):
이 버전은 영화에서 추출한 500장 이상의 스크린캡을 1024x1024로 크롭하여 각각 20스텝으로 학습했습니다. 완벽하지는 않지만, 지금까지의 결과는 제 기대를 훨씬 뛰어넘었고, 이 모델로 오랫동안 생성을 즐길 것 같습니다. 캡션은 사용하지 않았습니다.
트리거 단어는 judyhopps이며, 프롬프트에 "bunny"를 추가하면 출력 품질이 향상됩니다.
대부분의 이미지는 Autism Mix Confetti로 생성했습니다. 이 모델은 일반 Pony에 가장 가깝고 해부학적 오류가 적기 때문입니다. 하지만 Cyberrealistic Pony도 매우 잘 작동합니다: /model/443821/cyberrealistic-pony
두 모델 모두, 저디를 벌거벗은 상태로 생성할 때는 부정적 프롬프트에 "muscular, abs, ribcage"를 추가하는 것을 권장합니다. 그렇지 않으면 원래 스타일과 어울리지 않는 과도한 해부학적 특징이 생성되기 때문입니다.
알려진 문제:
옷차림이 항상 정확하지는 않습니다(닉이 등장한 스크린캡에서 타이를 착용하는 장면이 일부 포함되어 있어, 저디가 타이를 착용하는 경우가 있습니다. 캡션 추가로 해결 예정).
특정 각도에서 또는 멀리 떨어진 경우 얼굴이 매우 왜곡될 수 있습니다. 그러나 LoRA는 근접샷과 중거리샷이 적절히 혼합된 데이터로 학습되었습니다.