Fuwa Rinna (Mangaka-san to Assistant-san to)

• 이 모델은 두 개의 파일로 구성되어 있습니다. 두 파일을 함께 사용해야 합니다!!!
• 연관된 트리거 단어는 참고용이며, 경우에 따라 조정이 필요할 수 있습니다.
• 임베딩 모델의 권장 가중치는 1이며, 이는 더 높은 정밀도를 제공합니다. 더 높은 일반화가 필요할 경우 0.5로 낮출 수 있습니다.
• LoRA 모델의 권장 가중치는 0.85입니다. 오염의 징후가 있다면 0.6으로 낮추는 것을 고려하세요.

이 모델 사용 방법

이 모델은 두 개의 파일로 구성되어 있습니다. 두 파일을 함께 사용해야 합니다!!!. 이 경우, fuwa_rinna_mangakasantoassistantsanto.pt와 fuwa_rinna_mangakasantoassistantsanto.safetensors 두 파일을 모두 다운로드한 후, fuwa_rinna_mangakasantoassistantsanto.pt를 텍스처 반전 임베딩으로 사용하고, 동시에 fuwa_rinna_mangakasantoassistantsanto.safetensors를 LoRA로 사용해야 합니다.

이 모델은 두 개의 파일이 있습니다. 두 파일을 함께 사용해야 합니다!!!. 이 경우에는 fuwa_rinna_mangakasantoassistantsanto.pt와 fuwa_rinna_mangakasantoassistantsanto.safetensors 두 파일을 모두 다운로드하신 다음에 fuwa_rinna_mangakasantoassistantsanto.pt을 텍스처 반전 임베딩으로 사용하고, 동시에 fuwa_rinna_mangakasantoassistantsanto.safetensors을 LoRA로 사용하셔야 합니다.

트리거 단어는 fuwa_rinna_mangakasantoassistantsanto이며, 권장 태그는 best quality, masterpiece, highres, solo, {fuwa_rinna_mangakasantoassistantsanto:1.15}, brown_hair, long_hair, open_mouth, blush, purple_eyes, smile, closed_eyes입니다.

이 모델의 학습 방법

이 모델은 HCP-Diffusion을 사용하여 학습되었습니다. 자동 학습 프레임워크는 DeepGHS 팀에서 유지보수하고 있습니다.

일부 프리뷰 이미지가 Fuwa Rinna Mangakasantoassistantsanto처럼 보이지 않는 이유

프리뷰 이미지에 사용된 모든 프롬프트 텍스트(이미지를 클릭하여 확인 가능)는 학습 데이터셋에서 추출된 특징 정보를 기반으로 클러스터링 알고리즘을 통해 자동 생성되었습니다. 이미지 생성 시 사용된 시드도 무작위로 생성되었으며, 이미지에는 어떤 선택이나 수정도 가해지지 않았습니다. 따라서 위와 같은 문제가 발생할 수 있습니다.

실제 사용 경험에 따르면, 우리 팀 내부 테스트 결과 이와 같은 현상이 나타나는 대부분의 모델이 프리뷰 이미지보다 실제 사용 시 더 나은 성능을 보입니다. 당신이 해야 할 유일한 작업은 사용하는 태그를 조정하는 것입니다.

이 모델이 과적합되거나 과소적합된 것 같은데, 어떻게 해야 할까요?

우리 모델은 huggingface 저장소 - CyberHarem/fuwa_rinna_mangakasantoassistantsanto에 공개되어 있으며, 모든 학습 단계의 모델이 저장되어 있습니다. 또한 학습 데이터셋은 huggingface 데이터셋 - CyberHarem/fuwa_rinna_mangakasantoassistantsanto에 공개되어 있어 도움이 될 수 있습니다.

더 나은 이미지만 선택하여 사용하지 않는 이유

이 모델의 데이터 수집, 학습, 프리뷰 이미지 생성 및 게시에 이르기까지 전체 과정은 인간의 개입 없이 100% 자동화되었습니다. 이는 우리 팀이 진행한 흥미로운 실험으로, 데이터 필터링, 자동 학습, 자동 게시를 포함한 완전한 소프트웨어 인프라를 구축했습니다. 따라서 가능하다면, 여러분의 피드백이나 제안을 더 많이 받고 싶습니다. 이는 우리에게 매우 소중한 자료입니다.

원하는 캐릭터의 의상이 정확히 생성되지 않는 이유

현재 학습 데이터는 다양한 이미지 웹사이트에서 수집되었으며, 완전한 자동화 파이프라인에서는 캐릭터가 어떤 공식 이미지를 보유하고 있는지 정확히 예측하기 어렵습니다. 따라서 의상 생성은 학습 데이터셋의 라벨을 기반으로 클러스터링을 수행하여 최대한 정확한 재현을 시도합니다. 우리는 이 문제를 계속 해결하고 최적화를 시도할 계획이지만, 완전히 해결할 수 없는 도전입니다. 의상 재현의 정확도는 수작업으로 학습된 모델의 수준과 같아지기 어렵습니다.

사실, 이 모델의 가장 큰 강점은 캐릭터 자체의 고유한 특징을 재현하는 능력과 더 큰 데이터셋으로 인한 상대적으로 뛰어난 일반화 능력입니다. 따라서 이 모델은 의상 변경, 캐릭터 포즈 설정, 그리고 물론 캐릭터의 NSFW 이미지 생성과 같은 작업에 적합합니다!😉

다음과 같은 그룹에는 이 모델 사용을 권장하지 않으며, 이에 대해 사과드립니다:

1. 원래 캐릭터 디자인의 가장 미세한 부분까지도 약간의 차이를 허용하지 않는 분들.
2. 캐릭터 의상 재현의 정확도에 높은 요구를 가진 응용 시나리오를 사용하는 분들.
3. Stable Diffusion 알고리즘을 기반으로 한 AI 생성 이미지의 잠재적 무작위성에 수용할 수 없는 분들.
4. LoRA를 사용한 캐릭터 모델 학습의 완전 자동화 과정에 불편함을 느끼거나, 캐릭터에 대한 불경의를 피하기 위해 반드시 수작업으로만 학습해야 한다고 생각하는 분들.
5. 생성된 이미지 콘텐츠가 자신의 가치관에 반하는 것으로 느끼는 분들.