이 모델은 LoCon입니다. 로드하려면 Lycoris 확장 프로그램을 반드시 설치해야 합니다.

나는 Lora Block Weight를 사용하고 있습니다. 또한 Additional Networks와 SD Webui Lycoris도 사용할 수 있다고 생각합니다.

업데이트 2023년 4월 27일: 학습이 정체기에 들어서서 데이터셋에 더 많은 이미지(구부정한 손가락 등 복잡한 요소 포함)를 추가하는 중입니다. 학습률을 더 낮출 필요가 있을 것 같으므로 앞으로는 속도가 느려질 수 있습니다. 진행 상황에 따라 계속 업데이트하겠습니다.

베타 2 버전을 위한 프롬프팅 팁:

• 이 모델은 순수한 Stable Diffusion 1.5 기반으로 완전히 새로운 학습 결과입니다. 동료 애호가의 조언에 따라 이런 방식을 선택했으며, 다른 모델과의 호환성이 생각보다 훨씬 높은 점이 놀랍습니다. 제 관점에서 이 모델은 원래 모델의 스타일에 거의 전혀 영향을 주지 않으며, 손과 때로는 팔에만 영향을 미치며, 나머지 부분은 전혀 변하지 않습니다.

• 가장 좋은 결과를 얻기 위해 강도를 1로 설정하는 것이 가장 좋습니다. 강도를 1.5나 2 이상으로 올릴 수는 있지만, 일부 이미지에서는 도움이 되지만 다른 이미지에서는 오히려 악화될 수 있습니다. 이 수준에서는 CFG 스케일을 조정할 필요가 없습니다. 과도한 조리(overcook) 현상은 발생하지 않습니다.

• 다른 LoRA와 자유롭게 혼합 사용 가능합니다.

• 제 최고의 결과는 긍정 프롬프트에 "비교적 좋은 손, 완벽한 손"을 넣었을 때였으며, 가중치를 높이면 오히려 결과가 나빠졌습니다. 부정 프롬프트에는 "(과도한 손가락, 기형적인 손, 다손지, 1.5)"을 넣었습니다. 이 조합은 EnvyMix v1(그리고 아마도 RevAnimated)에서 효과적이지만, 다른 모델에서는 결과가 다를 수 있습니다.

• "나쁜 손" 부정 임베딩은 오히려 모델 성능을 저하시키는 것처럼 보입니다. 다만 광범위한 테스트는 하지 않았습니다.

• 물론 이 모델이 천재적인 결과를 내지도 못하지만, 수백 장의 이미지에 걸쳐 평균적으로 더 나은 결과를 얻을 수 있다는 점이 확실합니다. 몇 번의 추가 학습을 거쳐 더 개선되길 기대합니다.

알파 3 및 베타 1 버전을 위한 프롬프팅 팁:

• 이 조언은 RevAnimated 1.2용입니다. 다른 모델에서는 결과가 달라질 수 있습니다.

• 다소 과도하게 처리되는 경향이 있지만, 실제로 효과적으로 작동하려면 강도를 1.0으로 설정해야 합니다. 이 문제를 해결하기 위해 CFG 값을 5나 6 정도로 낮추는 방법을 쓸 수 있습니다. 동적 임계치 확장 기능을 사용하고 CFG 5를 모방하도록 설정하면 성공률이 높아집니다. 그 후에는 CFG 값을 9나 10으로 설정해도 결과가 제격입니다.

• 다른 LoRA와 함께 사용해봤는데 예상치 못한 결과가 나왔으므로, 이건 또 다른 예외사항이라고 생각됩니다. 현재는 단순한 사용 사례에서 안정적으로 작동되게 하는 것이 최우선입니다.

• 흥미롭게도, 중립적인 자세의 손에서는 약간 후퇴한 것처럼 보이지만, 더 복잡한 상호작용(예: 물체를 잡는 상황)에서는 훨씬 더 좋아졌습니다. 그래서 예시 이미지에 검정smith나 도서관 관리자 같은 사람들의 이미지가 많습니다.

• 프롬프트를 간단하게 유지하면 보다 안정된 결과를 얻을 수 있습니다.

• RevAnimated을 사용할 때는 8장 중 1~2장 정도만 사용 가능한 이미지가 나옵니다. 나머지 이미지들은 가까운 결과를 내지만, 인페인팅으로 보정이 가능할 정도로 별다른 오류 없이 나옵니다.

알파 2 버전을 위한 프롬프팅 팁:

• 모델이 점점 더 강력해지고 있으며, 강도 1 근방에서 제일 잘 작동합니다. 지난 버전처럼 1.3으로 설정하면 결과가 매우 나빠집니다.

• 제 부정 프롬프트는 여전히 "(과도한 손가락, 기형적인 손:1.15), (최악의 품질, 낮은 품질, 나쁜 품질, 형편없는 품질:1.35)"입니다.

• 단순히 메인 프롬프트에 "좋은 손"만 넣는 것으로도 매우 좋은 결과를 얻었습니다.

알파 1 버전을 위한 프롬프팅 팁:

• 프롬프트에 반드시 "아름다운 손, 완벽한 손, 손톱"이라는 표현이 포함되어야 합니다. 이 표현들은 중간에 배치하고 특별한 강조 없이 넣는 게 제일 효과적입니다.

• 알파 1 LoCon은 약 1.3의 강도에서 가장 좋게 작동합니다 (현재 테스트 중인 RevAnimated 1.1 기준입니다. 다른 모델에선 달라질 수 있음).

• 손 개선을 위해 부정 임베딩을 사용하지 마세요. 제가 불량 손 임베딩("badhandv4")을 부정 프롬프트에서 제거한 후 결과가 눈에 띄게 향상되었습니다. 혹시 부정 임베딩 없이 사용해보는 것도 추천합니다. 저는 이미 오랫동안 부정 임베딩을 사용하지 않고 있습니다.

• 제 부정 프롬프트는 "(과도한 손가락, 기형적인 손:1.15), (최악의 품질, 낮은 품질, 나쁜 품질, 형편없는 품질:1.35)"이며, 여러 차례 강도 및 단어 조정을 반복하면서 도출한 결과입니다. 적절한 수준의 성능을 기대할 수 있습니다.

• 이런 결과가 제게 큰 희망을 주고 있습니다. SD 1.5에서 손 문제를 실제 해결할 수 있는 가능성은 충분하다는 판단입니다. 올바른 프롬프트를 사용한다고 해도 완벽한 결과를 얻기는 어렵지만, 대부분의 경우엔 상당히 근접한 결과를 얻을 수 있습니다. 긍정 또는 부정 프롬프트에 무엇도 추가하지 않고도 잘 형성된 손을 생성할 수 있을 때까지, 이 작업을 완료로 간주할 것입니다.

이제 원래의 README 계속 진행합니다...

제가 시도하고 있는 가설은, MidJourney의 손이 지금처럼 훨씬 더 나은 이유는 아마도 고해상도의 손 이미지 집합에 특별히 집중해 학습한 네트워크를 직접 구축했기 때문일 수 있다는 것입니다. 그리고 사실상 아무도 이를 시도한 적이 없었을지도 모릅니다. 이 LoRA는 아직 MidJourney 수준에 도달하지 못했지만, 이전부터 여러 밤에 걸쳐 학습을 반복하고, 부족한 부분에 이미지를 추가하면서 품질이 꾸준히 향상되고 있습니다. 그에 따라, 이제 사용자들이 바로 사용할 수 있도록 공개합니다. 이것은 초기 알파 버전입니다. 더 이상 개선되지 않기 전까지 계속 업데이트하겠습니다.

예시 이미지는 선별된 것입니다. 이 모델이 모든 손 생성에 항상 개선을 준다고 기대해서는 안 됩니다. 오히려 일부 이미지는 더 나빠질 수도 있으니, 단 하나의 이미지가 아니라 대규모 이미지 세트를 기반으로 유용성을 평가해야 합니다. 만약 제 방식과 비슷하게 제대로 작동한다면, 제 대다수의 결과가 비슷하거나 더 나은 품질을 보일 것입니다 (단, 일부는 다른 방식으로 나빠질 수 있음).