LEOSAM's Instant photo 拍立得/Polaroid LoRA & LoHA

🖥️ GPT4V-Image-Captioner 오픈소스 모델을 체험해보세요. 제가 친구와 함께 개발한 이 도구는 한 번의 클릭으로 설치 가능하며, 이미지 사전 압축, 태그 지정, 태그 통계 기능을 내장하고 있습니다. 최근에는 이 도구의 웹 UI 플러그인 버전도 출시했으니, 누구나 사용해보세요!

🌍 QQ 그룹 "토슨·AIGC 몽공북창" (그룹번호: 780132897), "토슨·AIGC 몽공남창" (그룹번호: 835297318)에 초대합니다. (가입 답변: 토슨). Telegram 그룹 "토슨의 SDXL 백스테이션": https://t.me/+KkflmfLTAdwzMzI1

📖 2023.6.24 업데이트

많은 분들이 흰 테두리 없이 토스트 사진 질감만 남긴 버전을 원한다는 피드백을 주셨습니다. 그래서 InspX Borderless Version은 InspX LoRA 기반으로 계층적 조정을 통해 흰 테두리가 나타날 확률을 크게 줄였으며, 인물 얼굴에 대한 간섭도 감소되었습니다. 다만 대가로, Borderless Version은 InspX LoRA보다는 약간 낮은 토스트 사진质感을 보이지만, 여전히 사용 가능한 수준입니다.

많은 사용자가 흰 테두리 없이 오직 파롤로이드 사진의 질감만 유지하는 모델 버전을 요청했습니다.

그 결과 InspX Borderless Version이 InspX LoRA를 기반으로 개발되었습니다. 계층적 조정 기법을 사용함으로써 흰 테두리가 나타날 확률이 크게 감소하였으며, 얼굴에 대한 간섭도 최소화되었습니다.

다만 그 대가로 Borderless Version의 파롤로이드 사진质感은 InspX LoRA보다 다소 낮아졌지만, 여전히 사용 가능한 범위 내입니다.

2023.6.3 업데이트

InsPX LoRA 버전은 다시 LoRA 모델로 재학습했으며, 새로운 태깅 방법을 채택하고, 학습 데이터셋과 이미지 해상도를 확대했습니다.

InsPX LoRA 버전은 다시 LoRA 모델을 사용해 재학습되었으며, 새로운 태깅 방법을 도입하고 학습 데이터셋을 확장하며 이미지 해상도도 향상되었습니다.

2023.5.19 업데이트

InsPX LoHA 버전은 기존의 1.0 및 2.0 버전의 LoRA 모델과 다르게, 완전히 새로 양성된 LoHA 모델입니다. 효과 측면에서 이전의 LoRA 버전보다 약간 더 나은 느낌을 받았습니다. FilmGirl Provia LoHA와 함께 사용하는 것을 권장합니다. 그렇지 않으면 얼굴이 깨질 위험이 큽니다.

이 버전은 트리거 어휘가 없기 때문에, 특정 프롬프트나 대규모 모델에서 흰 테두리가 나타나지 않을 가능성이 있으며, 여전히 파롤로이드 사진의 색감 질감은 유지됩니다.

InsPX LoHA 버전은 이전의 1.0 및 2.0 LoRA 모델과는 달리, 완전히 새로 훈련된 LoHA 모델입니다. 효과 측면에서 이전 LoRA 버전보다 다소 우수하다고 느껴지며, FilmGirl Provia LoHA와 함께 사용하는 것이 권장됩니다. 그렇지 않으면 얼굴이 쉽게 깨질 수 있습니다.

주의: 이 버전은 트리거어휘가 없기 때문에, 특정 프롬프트나 대형 모델 사용 시 흰 테두리가 나타나지 않을 가능성은 있으나, 파롤로이드 사진의 색감 질감은 여전히 유지됩니다.

LoHA 모델 사용 방법 1:

다음 플러그인을 설치하세요: https://github.com/KohakuBlueleaf/a1111-sd-webui-locon. 이후 LoRA와 유사한 방식으로 사용하시면 됩니다. 모델을 ...\\models\\Lora 폴더에 넣은 후, <lora:FilmGX2:XXX> 명령어를 사용해 호출하시면 됩니다.

LoHA 모델 사용 방법 2 → https://github.com/KohakuBlueleaf/a1111-sd-webui-lycoris

LoHA 모델 사용 방법:

다음 플러그인을 설치하세요: https://github.com/KohakuBlueleaf/a1111-sd-webui-locon. 이후 LoRA와 유사하게 사용하시면 됩니다. 모델을 ...\\models\\Lora 폴더에 위치시킨 후, <lora:FilmGX2:XXX> 명령어로 호출할 수 있습니다.

또 다른 방법은 https://github.com/KohakuBlueleaf/a1111-sd-webui-lycoris를 사용하는 것입니다.

이것은 파롤로이드 스타일의 LoRA입니다. 2.0 버전은 1.0 버전보다 훨씬 안정적이지만, 복잡한 시나리오에서는 여전히 팔다리나 얼굴이 왜곡되는 경우가 있습니다. 주된 이유는 학습 데이터셋이 512×768 해상도 이미지로 구성되어 있으며, 파롤로이드 사진의 흰 테두리가 이미지의 대부분을 차지하기 때문에 실제 학습에 사용할 수 있는 내용이 제한적이기 때문입니다.

이것은 파롤로이드 스타일의 LoRA 모델이며, 2.0 버전은 1.0 버전보다 훨씬 안정적이지만, 복잡한 상황에서는 팔다리나 얼굴이 변형되는 경우가 있습니다. 주된 원인은 학습 데이터셋이 512×768 이미지이며, 파롤로이드 흰 테두리가 이미지의 상당 부분을 차지하여 실제 학습에 사용할 수 있는 콘텐츠가 제한적이기 때문입니다.

파롤로이드 사진의 흰 테두리 효과를 완전히 재현하려면, LoRA 무게를 0.55~0.7 사이로 설정하는 것이 좋습니다. 낮은 무게는 파롤로이드 필터 효과를 보여주지만, 테두리 크기가 일관되지 않을 수 있습니다.

파롤로이드 사진의 흰 테두리 완전 재현을 원한다면, LoRA 무게를 0.55~0.7 사이로 설정하는 것이 좋습니다. 낮은 무게는 파롤로이드 필터 효과를 나타내지만, 테두리 크기가 일정하지 않을 수 있습니다.

파롤로이드 사진의 외형과 색감 보정 측면에서 시너지 효과를 얻고 싶다면, FilmGirl LoRA와 함께 사용하는 것이 좋습니다.

파롤로이드 사진의 외형과 색상 보정 측면에서 향상 효과를 얻고 싶다면 FilmGirl LoRA와 함께 사용하는 것을 추천합니다.

시험 결과, 본 모델은 MoonMIX, majicMIX realistic, ChilloutMix와 잘 작동함을 확인했습니다. 기타 리얼리스틱 모델에도 좋은 성능을 보일 것으로 예상되므로, 여러 옵션을 자유롭게 실험해보시기 바랍니다.

시험 결과, 본 모델은 MoonMIX, majicMIX realistic 및 ChilloutMix에서도 매우 우수한 결과를 보였습니다. 다른 리얼리스틱 모델도 성능이 좋을 것으로 생각되므로, 자유롭게 다양한 설정을 실험해보시면 좋습니다.

가끔 생성된 사진에서 몸의 일부가 흰 테두리 밖으로 나아가는 경우가 있습니다. 그러나 이 미세한 결점은 전체 이미지에 큰 영향을 주지 않으며, 오히려 사진에 깊이감을 더해줄 수도 있습니다.