SameFace Fix [Flux Lora]

중요: 이 LoRA는 음수 가중치와 함께 사용해야 합니다.

또한: 이 모델은 여성의 외모를 다양화하는 데 초점을 맞추고 있습니다. 나중에 남성용 별도 모델(특히 수염을 기른 남성용)을 제작할 계획입니다.

재미있는 사실: 이 LoRA의 크기는 단지 4MB입니다(고랭크의 2개 블록으로 제한됨).

• 그렇다면 "Sameface"란 무엇인가요?

이는 생성형 AI에서 흔히 발생하는 문제로, 모델이 동일한 외모를 가진 사람들을 생성하는 것입니다. SD1.5/SDXL과 달리, 이는 단순히 다양한 데이터셋이 "여성" 같은 단일 토큰으로 수렴되는 결과가 아닙니다. Flux의 Dev/Schnell 버전은 Pro 버전에서 디스틸레이션되어 다양성이 손실되었습니다.

• 왜 음수 가중치를 사용하나요?

이 LoRA는 Flux가 생성하는 가장 일반적인 여성 사진들로 학습되었습니다.

그런 다음 이 LoRA를 NEGATIVE 가중치와 함께 적용하면, 음수 프롬프트 없이도 마치 음수 프롬프트처럼 작동합니다.

이 영리한 트릭을 사용하면, LoRA는 Flux에게 일반적인 Flux 얼굴이 아닌 모든 것을 생성하도록 지시합니다. 그 결과, 매번 아름답고 고유한 얼굴을 얻게 됩니다!

• 왜 LoRA를 사용하고, 낮은 가이던스 같은 트릭을 사용하지 않나요?

사람들은 높은 프롬프트 준수성과 이미지 품질을 유지하기 위해 높은 가이던스와 다양한 얼굴을 원합니다. 따라서 잠재 공간 수준에서의 개입이 최적입니다.

• 다른 캐릭터 LoRA와 어떻게 다른가요?

다른 LoRA들은 각자 고유의 "Sameface"를 도입하지만, 이 LoRA는 생성할 것(추가할 것)을 지시하지 않고, 생성에서 제외할 것만 알려줍니다. 결과적으로 이 LoRA는 이미지를 더욱 좁히는 대신 사람들의 외모를 다양화합니다.

• 이 LoRA는 실제로 어떻게 만들어졌나요?

처음에는 아무것도 제대로 작동하지 않아 좌절했습니다. 이 프로젝트를 포기하려던 참이었지만, 단지 2개의 레이어로 LoRA를 학습해보니, 테스트 중 갑자기 아름답고 Flux와는 거리가 먼 진정한 외모의 얼굴들을 얻게 되었습니다.

• 다음 계획은 무엇인가요?

많은 실험을 해볼 계획입니다. 다양한 학습률, 레이어, 랭크를 테스트하여 품질을 향상시켜야 합니다. 서로 다른 LoRA 버전을 병합하면 높은 값에서 발생하는 아티팩트 문제를 해결할 수 있을 것입니다. 이 LoRA에 충분한 관심이 있다면, 더 나은 버전을 꼭 만들겠습니다.

이 모델은 매우 실험적이라는 점에서 여러분의 피드백을 진심으로 기다리고 있습니다. 어떤 피드백이라도 환영하며, 모델 개선에 도움이 될 것입니다.

특별한 감사의 말씀을 Ostris님의 AI-Toolkit에 전합니다.