shaosiming_少司命——秦时明月

진시명월 소사명의 LoRA 모델로, 고해상도 이미지가 매우 부족하여 학습 데이터셋의 품질이 낮은 편입니다. 대부분 비디오 캡처 이미지나 홍보 포스터 이미지이며, 국풍3 (guofeng3_v32.ckpt [0bb33c7041]) 모델을 기반모델로 사용하여 Dreambooth 플러그인을 기반으로 LoRA 학습을 진행했습니다. 최종 학습 결과, 기반모델에서 가중치가 1일 때 얼굴 인식률이 높으며, 기반모델 사용 시 가면이 50% 이상의 확률로 생성되지만, 다른 모델에서는 가면이 거의 나타나지 않고 얼굴의 구분도가 낮은 편입니다. 의상은 복잡하나 별도의 학습을 하지 않아 의상 복원도가 낮습니다. 본인의 첫 번째 모델 학습이기에 당연히 여러 문제가 있을 수 있지만, 기본적으로 사용할 수는 있습니다. 향후 더 나은 모델을 기대합니다.

(여러 기반모델에서 테스트한 결과, LoRA 가중치가 1~1.4 사이에서 가장 좋은 성능을 보이며, 가면이 나타나지 않을 경우 veil 태그를 약간 강화해보시기 바랍니다)

2.0 버전 모델은 가을엽의 LoRA 통합 패키지를 사용해 학습하였습니다. 원래 데이터원의 투명 배경 이미지를 모두 흰색 배경으로 변경했으며, 통일된 해상도 자르기 미적용으로 인해 데이터의 일관성이 떨어졌으나, 모바일용 3080 GPU에서 통합 패키지를 이용해 학습했고, 동일한 양의 데이터로 학습 시 약 30분 정도 소요되며, 생성된 패키지 크기는 작아지고 성능도 향상되었습니다. 1.0 버전처럼 흐릿한 효과는 더 이상 발생하지 않으며, 다른 주요 모델과의 결합도 용이해졌고, 전체 화면이 보라색으로 흐려지는 현상도 사라졌습니다. 2.0 버전 LoRA 모델의 가중치는 0.5~0.8 사이에서 가장 안정적인 결과를 보이며, 0.6 이상일 경우 가면이 잘 생성됩니다.

가중치가 0.4일 때는 모델의 주요 특징을 유지하면서도 자세, 의상, 배경을 더 유연하게 바꿈으로써 보다 보편적인 이미지를 생성할 수 있으며, 적절한 복원도는 완화됩니다.

초기 해상도는 540x960이며, R-ESRGAN 4x+ 확대 알고리즘을 활용하여 재설정 강도 0.3으로 2배 확대하여 고해상도 복원을 수행한 후, 이미지 생성 기반으로 SD Upscale 스크립트를 사용해 동일한 알고리즘과 재설정 강도 0.1로 초고해상도 확대를 진행하면 만족스러운 4K 고화질 이미지를 얻을 수 있습니다. (이 방법은 첫 단계에서 1080P 이미지를 직접 생성하는 방식으로, 결과는 얼굴에 따라 차이가 커서 대량 처리가 어렵습니다. 16GB GPU의 경우 동시에 최대 4장의 이미지만 생성 가능하며, 출력 및 후처리 속도는 느리지만 이미지 품질은 매우 높습니다.)

shao siming - 소사명 — 진시명월 - v2.0 | 토우지 [Blocked Link] (tusiart.com) (이곳에서 온라인으로 이미지를 생성해 결과를 확인할 수 있으며, 고해상도 복원 기능을 사용해 얼굴 추출 테스트를 진행할 수 있으며, 속도도 괜찮고, 매일 무료 사용량이 제공됩니다.)