Summer Lesson의 Miiyamoto Hikari.

트리거 단어: miiyamotohikari

위 이미지에서 예제 프롬프트를 확인할 수 있습니다.

다음은 두 개의 파일입니다: 하나는 130 에포크로 학습된 'miiyamotoHikari' 이름의 파일이고, 다른 하나는 크기가 더 작게 압축된 80 에포크 파일입니다. 당신의 선호에 따라 하나만 다운로드하시면 됩니다.

80 에포크 버전은 더 유연하지만, 130 에포크 버전에 비해 디테일이 덜 세련되고 파손되기 쉽습니다. 130 에포크 버전은 게임 모델링 스타일에 더 가까우며 캐릭터 외형이 더 안정적이지만, 이미지가 3D 모델처럼 보여 캐릭터의 움직임이 다소 딱딱해 보입니다. 자세한 내용은 아래에 공유한 포스트를 참고하세요.

권장 가중치: 1~0.6, 캐릭터 외형이 원하는 대로 나타날 때까지 조정하세요.

업스케일 값 권장치는 약 1.5, 노이즈 제거 강도는 0.2입니다.

네거티브 프롬프트에 '3D'를 추가하는 것을 권장합니다.

당신의 댓글과 사진을 기다리고 있습니다.

참조 프롬프트:

학교 복장:

miiyamotohikari
1girl,solo,black hair,ponytail,bangs,pink scrunchie,brown eyes,
school uniform,white shirt,blue plaid skirt,blue plaid necktie,red wristband,black kneehighs,bandaid on knee,leather shoes,

흰색 캐미솔:

miiyamotohikari,
1girl,solo,black hair,bangs,ponytail,blue scrunchie,brown eyes,
white camisole,jeans,tight clothing,choker,jewelry,

소매 없는 흰색 드레스:

miiyamotohikari,
1girl,solo,black hair,ponytail,bangs,pink scrunchie,brown eyes,
sleeveless white dress,white collar,white wristwatch,white flat shoes,

검은색 캐미솔:

miiyamotohikari,
1girl, solo, black hair, bangs, ponytail, black scrunchie, brown eyes, 
camisole, black camisole, jeans, tight clothing, belt, choker, jewelry, black wristband,

청록색 플레어 무소매 드레스:

miiyamotohikari,
1girl,solo,black hair,ponytail,bangs,blue scrunchie,brown eyes,
sleeveless blue plaid dress,white collar,white wristwatch,

사이안 텅탑:

miiyamotohikari,
1girl,solo,black hair,bangs,ponytail,pink scrunchie,black wristband,black shorts,brown eyes,cyan tank top,

20240624

이 버전은 일반화 성능이 더 우수합니다. 다양한 학습 방법을 시도한 끝에, 데이터셋에 다양한 스타일의 이미지를 추가하는 것이 모델 학습 효과를 향상시킨다는 결론에 도달했습니다.

초기에는 게임 스크린샷만 사용했고, 결과는 실제 게임과 매우 유사했습니다. 그러나 게임의 3D 모델과 지나치게 유사해 생성된 이미지가 매우 딱딱해졌습니다. 네거티브 프롬프트에 '3D'를 사용하면 대개 캐릭터의 특징이 사라져 완전히 평평한 외형이 됩니다.

제 목표는 원래 스타일과 캐릭터 특징을 유지하면서도 완전한 3D가 아닌, 강력한 일반화 능력을 가진 모델을 학습시키는 것입니다.

결국, 게임 스크린샷 외에도 일러스트와 2D 스타일의 이미지를 데이터셋에 추가했습니다. 그러나 이러한 이미지들은 캐릭터의 특징과 스타일이 게임 스타일과 유사하거나, 이전 버전에서 생성된 이미지에서 가져온 것을 엄격히 선별했습니다.

현재, 다른 스타일의 고화질 이미지를 더 추가하면 이 버전의 학습 성능이 더욱 향상될 수 있습니다.

---

20240519

이 버전의 스타일은 게임과 더 일관되고 가깝습니다.

'전신'과 같은 프롬프트에서 더 나은 성능을 보입니다. 그러나 여전히 손이 잘 나오지 않습니다. 이번에는 게임이 아닌 모든 이미지를 학습 데이터셋에서 제거하여 생성 이미지가 원본 게임 스타일에 더 가까워지도록 시도했습니다. 그 결과 초기 학습 결과가 심각하게 과적합되었습니다. 몇 차례 시도 끝에, Scale weight norm을 1, Network dropout을 0.5로 조정함으로써 과적합 문제를 어느 정도 완화했습니다.

현재 이 LoRA 모델은 여전히 일부 과적합 문제가 존재하며, _LoRA 가중치를 0.6~0.8 범위 내에서 조정하거나, 네거티브 프롬프트에 "3d"를 추가_함으로써 완화할 수 있습니다. '전신', '풀샷'과 같은 프롬프트에서 우수한 성능을 원한다면, 업스케일 값을 1.6 이상으로 설정하세요.

이 모델을 더욱 개선하기 위해, 이 캐릭터의 다양한 각도에서 촬영된 이미지와 보다 정밀하고 정확한 어노테이션을 추가하면 더 나은 결과를 얻을 수 있다고 생각합니다.

위 예제를 사용할 때는 태그 <lora:miiyamotoHikari1512>를 <lora:miiyamotoHikari>로 변경하세요.

---

20240401

위 사진에서 캐릭터의 예제 태그를 확인할 수 있습니다.

처음으로 LoRA를 만들어보았습니다.

인터넷과 원본 게임에서 80장 이상의 이미지를 데이터셋으로 수집했습니다.

가중치 값을 0.8~0.9로 설정하면 좋은 성능을 얻을 수 있습니다. 이 모델에는 몇 가지 문제가 있습니다. '전신'과 같은 태그에서 좋은 성능을 원한다면, 업스케일을 1.4 이상으로 설정해야 하며, 그렇지 않으면 캐릭터의 얼굴이 심각하게 왜곡됩니다. 현재 손이 잘 나오지 않는 문제가 있습니다.

이 모델은 현재 130 에포크까지 학습되었습니다. 이보다 더 많이 학습하면 더 나은 결과를 얻을 수 있을 것이라 추정합니다.