Frostnova (Arknights)

• Civitai의 이용 약관으로 인해 일부 이미지를 업로드할 수 없습니다. 전체 미리보기 이미지는 HUGGINGFACE에서 확인하실 수 있습니다.
• 이 모델은 2개의 파일을 포함합니다. a1111의 WebUI v1.6 이하 버전을 사용 중이라면, 두 파일을 반드시 함께 사용해야 합니다!!! WebUI v1.7 이상을 사용 중이라면, 일반 LoRA처럼 safetensors 파일만 사용하면 됩니다.
• 추출된 캐릭터 태그는 animal_ears, rabbit_ears, hair_ornament, long_hair, hairclip, scar_on_face, hair_over_one_eye, grey_eyes, grey_hair, white_hair, bangs입니다. 캐릭터의 핵심 특징(예: 머리카락 색상)이 안정적이지 않을 때 이 태그들을 프롬프트에 추가할 수 있습니다.
• pt 파일의 권장 가중치는 0.7-1.1, LoRA의 가중치는 0.5-0.85입니다.
• 이미지는 일부 고정 프롬프트와 데이터셋 기반 클러스터링 프롬프트를 사용하여 생성되었습니다. 무작위 시드를 사용했으며, 선택적 필터링은 하지 않았습니다. 여기서 보이는 것이 실제로 얻을 수 있는 결과입니다.
• 옷 감각에 대한 특화된 훈련은 수행되지 않았습니다. 제공된 미리보기 포스트를 통해 옷에 해당하는 프롬프트를 확인하실 수 있습니다.
• 이 모델은 940개의 이미지로 훈련되었습니다.

이 모델 사용 방법

이 모델은 두 개의 파일을 포함합니다. WebUI v1.6 이하 버전을 사용 중이라면, 두 파일을 반드시 함께 사용해야 합니다!!! 이 경우, frostnova_arknights.pt와 frostnova_arknights.safetensors 두 파일을 모두 다운로드한 후, frostnova_arknights.pt를 embeddings 폴더에 넣고, 동시에 frostnova_arknights.safetensors를 LoRA로 사용해야 합니다. WebUI v1.7+를 사용 중이라면, 일반 LoRA처럼 safetensors 파일만 사용하시면 됩니다. 이는 현재 a1111의 WebUI가 임베딩이 포함된 LoRA/Lycoris 모델을 공식적으로 지원하기 때문입니다. 자세한 내용은 여기를 참조하세요.

이 모델은 두 개의 파일로 구성되어 있습니다. WebUI v1.6 이하 버전을 사용 중이라면, 이 두 파일을 함께 사용해야 합니다!!! 이 경우, frostnova_arknights.pt와 frostnova_arknights.safetensors를 모두 다운로드한 후, frostnova_arknights.pt를 embeddings 폴더에 넣고, 동시에 frostnova_arknights.safetensors를 LoRA로 사용해야 합니다. WebUI v1.7+를 사용 중이라면, 일반 LoRA와 동일하게 safetensors 파일만 사용하세요. 이는 현재 a1111의 WebUI가 임베딩이 포함된 LoRA/Lycoris 모델을 공식적으로 지원하기 때문이며, 자세한 내용은 여기를 참조하세요.

此模型包含两个文件。如果您使用的是 WebUI v1.6 或更低版本，您需要同时使用这两个文件！ 在这种情况下，您需要下载 frostnova_arknights.pt 和 frostnova_arknights.safetensors 两个文件，然后将 frostnova_arknights.pt 放入 embeddings 文件夹中，并同时使用 frostnova_arknights.safetensors 作为 LoRA。如果您正在使用 webui v1.7 或更高版本，只需像常规 LoRAs 一样使用 safetensors 文件。这是因为嵌入式 LoRA/Lycoris 模型现在已经得到 a1111's webui 的官方支持，更多详情请参见这里。

트리거 단어는 frostnova_arknights이며, 추출된 태그는 animal_ears, rabbit_ears, hair_ornament, long_hair, hairclip, scar_on_face, hair_over_one_eye, grey_eyes, grey_hair, white_hair, bangs입니다. 어떤 특징(예: 머리카락 색상)이 불안정할 때, 이 태그들을 프롬프트에 추가할 수 있습니다.

이 모델의 학습 방법

• 이 모델은 HCP-Diffusion을 사용하여 훈련되었습니다.
• 자동 학습 프레임워크는 DeepGHS 팀이 유지보수하고 있습니다.
• 학습에 사용된 기본 모델은 deepghs/animefull-latest입니다.
• 학습에 사용된 데이터셋은 CyberHarem/frostnova_arknights의 stage3-p480-800이며, 총 940장의 이미지를 포함합니다.
• 배치 크기는 4, 해상도는 720x720, 클러스터링은 5개의 버킷으로 수행되었습니다.
• 정규화 데이터셋의 배치 크기는 1, 해상도는 720x720, 클러스터링은 20개의 버킷으로 수행되었습니다.
• 총 9400스텝 동안 학습되었으며, 40개의 체크포인트가 저장되고 평가되었습니다.

자세한 학습 정보는 huggingface 저장소 - CyberHarem/frostnova_arknights를 참조하세요.

일부 미리보기 이미지가 캐릭터처럼 보이지 않는 이유

미리보기 이미지에 사용된 모든 프롬프트 텍스트(이미지를 클릭하여 확인 가능)는 학습 데이터셋에서 추출된 특징 정보를 기반으로 클러스터링 알고리즘을 통해 자동 생성되었습니다. 이미지 생성에 사용된 시드 또한 무작위로 생성되었으며, 이미지에는 어떠한 선택이나 수정도 가해지지 않았습니다. 따라서 위와 같은 문제가 발생할 수 있습니다.

실제로 우리의 내부 테스트 결과에 따르면, 이러한 문제가 발생하는 대부분의 모델은 미리보기 이미지보다 실제 사용 시 더 나은 성능을 발휘합니다. 필요한 유일한 조치는 사용하는 태그를 조정하는 것뿐입니다.

이 모델이 과적합 또는 과소적합처럼 보이는데, 어떻게 해야 하나요?

여기서 표시된 스텝은 자동으로 선택된 것입니다. 우리는 여러분이 시도해볼 수 있는 다른 우수한 스텝도 추천합니다. 여기를 클릭하여 자신에게 가장 적합한 스텝을 선택하세요.

우리의 모델은 huggingface 저장소 - CyberHarem/frostnova_arknights에 공개되었으며, 모든 스텝의 모델이 저장되어 있습니다. 또한 학습 데이터셋은 huggingface 데이터셋 - CyberHarem/frostnova_arknights에 공개되어 있으며, 여러분에게 도움이 될 수 있습니다.

왜 더 나은 이미지만 선택하지 않나요?

이 모델의 전체 프로세스—데이터 수집, 학습, 미리보기 이미지 생성 및 게시—는 인간의 개입 없이 100% 자동화되었습니다. 이는 우리 팀이 수행한 흥미로운 실험으로, 데이터 필터링, 자동 학습, 자동 게시를 포함한 완전한 소프트웨어 인프라를 구축했습니다. 따라서 가능하다면, 귀하의 피드백이나 제안을 더 많이 받고 싶습니다. 이는 우리에게 매우 소중한 자원입니다.

원하는 캐릭터의 옷을 정확하게 생성할 수 없는 이유

현재 학습 데이터는 다양한 이미지 웹사이트에서 수집되었으며, 완전한 자동화 파이프라인을 구축하는 과정에서 캐릭터가 실제 어떤 공식 이미지를 보유하고 있는지를 정확히 예측하는 것은 어렵습니다. 따라서 옷 생성은 학습 데이터셋의 라벨을 기반으로 클러스터링을 수행하여 가능한 한 최선의 재현을 시도합니다. 우리는 이 문제를 계속 해결하고 최적화하려 합니다만, 완전히 해결하기 어려운 도전 과제입니다. 옷 재현의 정확도는 수동 학습된 모델의 수준과 맞먹기 어렵습니다.

실제로 이 모델의 가장 큰 강점은 캐릭터 본연의 특징을 재현하는 능력과 비교적 강력한 일반화 능력이며, 이는 더 큰 데이터셋 덕분입니다. 따라서 이 모델은 옷 변경, 캐릭터 포즈 조정, 그리고 물론 캐릭터의 NSFW 이미지 생성에 매우 적합합니다! 😉.

다음과 같은 사용자에게는 이 모델 사용을 권장하지 않으며, 이에 대해 사과드립니다:

1. 캐릭터 디자인의 가장 미세한 변화조차 용납할 수 없는 분들.
2. 캐릭터 옷 재현의 정확도에 높은 요구를 하는 사용자.
3. Stable Diffusion 알고리즘으로 생성된 이미지의 잠재적 무작위성에 받아들이지 못하는 분들.
4. LoRA를 이용한 캐릭터 모델 학습의 완전 자동화 과정에 불편함을 느끼거나, 캐릭터를 경시하지 않으려면 반드시 수동 학습만이 정당하다고 믿는 분들.
5. 생성된 이미지 내용이 자신의 가치관에 반하는 것으로 느끼는 분들.