LOFI
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
L.O.F.I: 간섭 없는 무한 창의성
[업데이트:240515]
🚀 LOFI V5 - 최종 버전
이것은 LOFI 시리즈의 마지막 버전입니다. 향후 LOFI 모델에 대한 업데이트는 거의 없을 것으로 보입니다 (SD3.0이 출시되는 경우를 제외하고는, SD3.0용 LOFI 버전이 개발될 수는 있음).
V5는 매우 특별한 버전으로, "LCM"과 비슷한 효과를 부분적으로 생성합니다. 이를 제대로 사용하려면 매우 낮은 CFG 값을 사용해야 합니다. 이 모델은 LCM 또는 HyperSD와 효과적으로 결합하여 성능을 향상시킬 수도 있습니다.
또한 이 모델은 "프롬프트 단어의 주의 집중력"에 매우 민감합니다. 제가 실험한 바에 따르면, 프롬프트 단어의 가중치가 1.2를 초과해서는 안 됩니다. 자주 복잡한 가중치 없이도 훨씬 나은 결과를 얻을 수 있으며, 이는 모델이 프롬프트의 중요성과 관련성을 정확히 이해하고 있다는 것을 시사합니다.
🛠️ 추천 설정:
- 샘플러: DPM++ (시리즈) / Restart
- 스텝 수: 15-55 (권장 35)
- CFG: 2-5 (권장 4)
CFG가 낮을수록 생성된 이미지가 더 창의적으로 나올 수 있습니다.
📸 누구나 문제:
이 모델은 사진적 "주제"를 선호하는 경향이 강합니다. 명확한 주제가 없는 이미지를 생성하기 어려울 수 있습니다. 만약 이 모델로 풍경 이미지를 생성하고 싶다면, 컨트롤넷-딥스케일을 추천합니다. 이는 출력을 효율적으로 관리할 수 있습니다.
💡 PS: 사실 이 모델은 이미 오래 전에 완성되었습니다. 하지만 SDXL 출시 이후 1.5 모델 커뮤니티가 활성화되지 않을 것으로 판단해 발행을 미처 왔습니다. 이제 1.5 모델은 여전히 많이 사용되고 있으며, 많은 사람들이 SDXL의 리퍼너로 활용하고 있음을 알게 되었습니다.
💡PPS: 모델의 진정한 능력을 보여주기 위해 모든 전시 이미지에는 LoRA 및 포스트 프로세싱을 사용하지 않습니다. 합리적인 LoRA와 포스트 프로세싱을 사용하면 더 우수한 결과를 얻을 수 있을 것입니다.
🆕 그리고 새로운 디스틸레이션 모델이 출시되었습니다:
- CaseH (lofi_v4 포크)
[업데이트:230822]
LOFI v4 발표
업데이트 내용
- 더 많은 훈련 및 피니터닝
- SDXL1.0 지식 통합 (휴먼 포트레이트 및 기계물 관련)
- 일부 화면 구성 버그 수정 (v3 버전의 문제: 종종 옷이나 장면이 망가짐)
제안 사항
- v4는 품질 향상을 위해 특별한 프롬프트를 별도로 입력할 필요 없습니다. (예: 최고의 품질, 마스터피스 등과 같은 키워드는 사용하지 마세요)
- v4는 강한 프롬프트 가중치 조정이 필요하지 않습니다. 모든 가중치를 제거해 보세요.
- v4는 Hi-RES가 필요하지 않습니다. 대용량 스텝 수 (>50 스텝)를 사용하고, DPM++ 시리즈 샘플러를 사용하세요.
- 여전히 약간의 아시아 스타일이 남아 있습니다. 원하지 않으시면 다음 모델을 참고하세요 👉 EPIC-v1
---
V4 vs V3
프롬프트 단어 정확한 반영, 기본 얼굴 스타일 완전 제거
Precise application of prompt words, completely remove the default face style
---
[업데이트:230720]
LOFIv3 + SDXL0.9으로 미세 조정된 새 모델: RawXs
LOFI는 포트레이트 생성에 집중하고, RawXs는 더 현실적인 스타일을 강조합니다.
[업데이트:230624] LOFI V3
다양한 유형의 LOFI-서브 LoRA 재배치, 과적합 수정
V3 사용 제안:
- 샘플러: DPM adaptive / DPM++ / DDIM
- 카메라 제어 기능은 여전히 사용 가능
확장 기능 제안:
- Stable Diffusion Dynamic Thresholding (CFG Scale Fix)
https://github.com/mcmonkeyprojects/sd-dynamic-thresholding/tree/master
제 설정:
Dynamic thresholding 활성화: True, Mimic scale: 4, Threshold percentile: 100, Mimic mode: Linear Up, Mimic scale minimum: 0, CFG mode: Linear Up, CFG scale minimum: 0,
- ControlNet
https://github.com/Mikubill/sd-webui-controlnet
- FaceEditor (restor-face보다 우수)
https://github.com/ototadana/sd-face-editor
(얼굴 비율이 낮은 이미지 생성에 적합함. 근접 촬영 이미지의 경우 별도로 사용할 필요 없음)
---
v3 인페인팅
---
huggingface
https://huggingface.co/lenML/LOFI-v3/tree/main
[업데이트:230602] LOFI V2.2
더 위진한 것을 알수록 더욱 현실적인 것을 알게 된다
V22 버전에 대한 제안 사항:
- 음성 프롬프트가 매우 효과적이며, 품질을 크게 향상시킬 수 있습니다. 이 모델은 "나쁜 것"을 잘 이해하고 있습니다.
- 카메라 제어는 V21만큼 강하지는 않지만, 약간의 피니터닝 모델이 포함되어 있어 V21의 약 30% 정도의 카메라 제어 능력을 가집니다.
- 이 훈련 과정에서는 대량의 아시아 이미지(~5GB)를 사용했으므로, 다른 인종의 이미지를 생성하려면 별도의 LoRA나 Ti 모델이 필요할 수 있습니다.
- [강력 추천] ControlNet을 사용하세요. 이 버전은 ControlNet과 매우 잘 어울리며, 특정 부분을 제한함으로써 모델의 출력을 현실과 무한히 가깝게 만들 수 있습니다.
- DPM++ 시리즈 샘플러 를 사용하세요. 스텝 수가 많을수록 출력이 더 세밀해지고, CFG 값도 높일 수 있습니다.
AI 세상을 즐기세요.
--
ControlNet과 잘 어울림:
👈 왼쪽 이미지: 구성은 정확하지만, 귀, 표정, 자세, 조명이 프롬프트와 다름.
👉 오른쪽 이미지: ControlNet 활성화, 장면 구성 제어 완료, 모든 프롬프트가 정확히 반영됨! 대단해요!!!
--
LOFI V22 인페인팅 모델 공개~전시:
--
지금, 제 모델은 해깅페이스에 백업되어 있습니다:
https://huggingface.co/lenML/LOFI-v2_2/tree/main
https://huggingface.co/lenML/LOFI-V2_2-inpainting/tree/main
https://huggingface.co/lenML/LOFI-v2pre/tree/main
--
[업데이트:230414] LOFI V2.1
- 🧙 더 많은 반복 훈련 (200에포크)으로 더 현실적인 디테일 향상
- 🩹 약간의 얼굴 효과 회귀 (LOFI V2pre 수준으로 복귀)
- 🖌️ 인페인팅 모델 추가 (LOFI V2.1 기반)
팁 (인페인팅 모델 관련):
인페인팅 모델 파일 이름이 웹UI에서 지원하는 포맷이어야 합니다. 예: LOFI_V21.inpainting.safetensors
(이 문제는 아마도 Civitai의 버그로, 다운로드한 파일 이름이 업로드한 이름과 다를 수 있음. 따라서 웹UI가 모델을 올바르게 로드할 수 있도록 수동으로 이름을 수정해야 합니다.)
--
참고: torch2.1의 일부 최적화를 사용했기 때문에, 동일한 매개변수로 완전히 같은 이미지를 생성하지 않을 수 있습니다 (하지만 품질은 좋음)
[업데이트:230325] LOFI V2
드디어 V2 버전이 공개됩니다.
LOFI-v1 모델 기반, 80,000 스텝 / 300 에포크에 걸쳐 피니터링 완료
- 📷 더 많은 카메라 개념 강화
- 🎨 정확한 파레트 제공
[업데이트:230224] LOFI V2pre
버전 2의 프리리리즈입니다. 단순한 머지 모델을 넘어, 제가 훈련을 통해 미세 조정한 모델 일부도 포함하고 있습니다. 기존에 공개된 TAF 및 이미지 품질을 향상시키는 기타 훈련 모델들이 포함되어 있습니다.
하지만 이 모델은 "캐릭터의 얼굴"에 집중할 수 있으므로, 이는 단지 프리리리즈이며 업데이트가 필요합니다. LOFI 모델의 목표는 일반적이고 고품질임을 유지하는 것입니다.
프롬프트 제안 사항
텍스트 인코더가 충분히 훈련된 상태이므로, 너무 높은 주의 집중도로 가중치를 조정하지 마세요. 이는 잘못된 그림을 유도할 수 있습니다. 가능한 한 모든 주의 가중치는 1.2 이하로 유지하세요.
특별한 구성이나 요건이 없다면, "손이 없음"과 같은 복잡한 음성 프롬프트는 많지 않아도 됩니다. 이는 인체 표현에 악영향을 줄 수 있습니다. 음성 프롬프트로는 DeepNegative 정도로 충분합니다.
보통은 hires.fix를 사용하는 것이 추천됩니다. 추천 설정:
- (최종 출력 512×768)
- 스텝 수: 20, 샘플러: Euler a, CFG 스케일: 7, 크기: 256x384, 노이즈 제거 강도: 0.75, 보간 배수: 2, 보간 스텝 수: 40, 보간 확대기: Latent (bicubic antialiased)
- (최종 출력 512×768)
대부분의 샘플 이미지는 hires.fix로 생성되었습니다.
참고: hires.fix를 사용할 경우, 웹UI에서 동일한 매개변수로 같은 이미지를 재현할 수 없습니다. 왜냐하면 hires.fix는 이중 랜덤성을 도입하기 때문입니다.