Onimai-characters-LoHa/LoRa おにまい || Oyama Mahiro / Oyama Mihari / Hozuki Kaede / Hozuki Momiji / Murosaki Miyo / Oka Asahi
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
첫 번째 모델은 clip skip 1로 훈련되었습니다. clip skip 2를 사용하고 싶으시다면 두 번째 모델을 사용해 주세요.
이 두 모델은 대부분의 상황에서 비슷한 성능을 보일 것입니다 (각 모델이 훈련된 clip skip 값을 사용하는 한). 최종 두 개의 예시 이미지에서 몇 가지 비교가 제공됩니다.
--
업데이트된 모델은 전체 애니메이션 시리즈와 2023년 4월 30일까지 수집한 팬 아트를 기반으로 훈련되었습니다.
특히 미요와 아사히에 있어 개선되었을 것으로 생각합니다.
푸지미네무와 텐카와나요타의 이미지가 일부 있으나, 제대로 학습된 것 같지 않습니다.
다른 단계의 체크포인트는 관련된 허깅페이스 저장소 https://huggingface.co/alea31415/onimai-characters 및 특히 https://huggingface.co/alea31415/onimai-characters/tree/main/loha_all_0430에서 확인할 수 있습니다.
언제나처럼 네트워크는 ACertainty 위에서 훈련되었으며, 대부분의 대중적인 애니메이션 모델과 호환됩니다.
LoHa 버전은 clip skip 1과 clip skip 2 버전 모두 제공되며, 구형 LoRa는 clip skip 1로 훈련되었습니다 (기억으로는).
여러 스타일 간 전환도 시도해 볼 수 있습니다: aniscreen, fanart, edstyle, manga cover. 다만 아래의 점에 유의하세요.
- aniscreen는 스타일 모델과 충돌할 수 있습니다.
- edstyle는 대부분의 경우 텍스트가 함께 나타나며, 제거하기가 어려울 수 있습니다.
- manga cover도 가끔 텍스트가 생성될 수 있으나, 적절한 프롬프트와 샘플러를 사용하면 완화할 수 있습니다.
- 대부분의 경우 아무것도 넣지 않는 것이 가장 좋은 방법일 수 있습니다.
추가 정보:
- 의상 부분은 적절히 학습된 것으로 보입니다. 각각의 의상이 작동하기 위해 필요한 최소한의 조건은 정확히 알 수 없지만, 일반적인 상식을 활용하세요. 예를 들어 유니폼은 "학교 유니폼, 자켓" 또는 "학교 유니폼, 허리끈"으로, 미하리의 경우는 "보로 타이, 실험복"을 입력할 수 있습니다. 혼합을 피하기 위해 부정적인 프롬프트를 조정해 보세요.
- 훈련 중에는 눈에 관한 태그만 제거했습니다. 따라서 프롬프트에서 머리 스타일에 대해 더 구체적으로 기술할 필요가 있을 수 있습니다. 각 캐릭터가 여러 가지 다른 머리 스타일로 등장하기 때문에 이 결정을 내렸습니다.
- 샘플러 선택은 개인의 취향에 따라 다릅니다. 가끔 이상한 효과가 나타날 수도 있습니다. 예를 들어, manga cover 스타일에서는 DDIM을 사용했을 때 낯선 요소들이 많이 생성됩니다. 반면 Euler a와 DPM++ 2S Karras는 보통 더 나은 결과를 줍니다. 이 스타일의 훈련 이미지에는 텍스트가 전혀 없었지만, 그럼에도 불구하고 이러한 요소들이 나타나는 것은 아직도 신비로운 점입니다.
--
지원이나 명시된 크레딧은 필요하지 않지만, 제가 훈련한 모델을 사용하고 유용하게 느끼고 계신다는 것을 알게 되면 매우 기쁠 것입니다.
또한 더 많은 프랜차이즈 모델의 개발을 적극 권장하고 싶습니다.
관심이 있다면 제 워크플로우를 참고해 보세요: https://github.com/cyber-meow/anime_screenshot_pipeline
단지 하나의 LoRA에 하나의 개념만을 인코드할 필요가 없다는 점을 더 널리 알리고 싶을 뿐입니다.



















