Regularization Image Workflow & Collection for FLUX
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
더 나은 FLUX 모델 제작을 위한 창작자 지원 자료
FLUX에 많은 사람들이 참여하면서, 일부 LoRA가 모델의 다른 요소에 바람직하지 않은 방식으로 영향을 미친다는 점이 점차 알려지고 있습니다. 예를 들어, 남성과 여성 캐릭터를 구분하지 못하거나, 캐릭터 요소가 배경 캐릭터로 번져버리거나, 특정 LoRA를 사용할 때 다른 스타일을 제대로 프롬프트할 수 없는 등의 문제가 발생합니다.
이러한 문제는 거의 항상 데이터셋에 정규화 이미지가 부족하기 때문입니다!
FLUX는 학습에 사용된 데이터셋에 따라 원래 학습 내용을 잊어버리는 경향이 매우 뚜렷하므로, 정규화 이미지는 Stable Diffusion 모델보다 훨씬 더 중요하며, 데이터셋의 20~50%를 차지해야 합니다.
하지만 많은 사람들이 정규화 이미지를 피하는 이유를 충분히 이해합니다. 대규모 데이터셋에 대해 자연어 캡셔닝을 하는 것만으로도 이미 번거로운 일이기 때문입니다. 그래서 제가 아래 워크플로우를 개발했습니다!
이 워크플로우는 두 가지 핵심 원칙을 기반으로 합니다:
정규화 이미지와 해당 캡션은 원래 모델이 생성할 것 같은 결과에 최대한 가깝게 만들어야 하며, 모델의 가중치를 보존해야 합니다.
기존 이미지에 캡션을 달아주는 것보다 이미지를 생성하기 위해 프롬프트를 작성하는 것이 훨씬 덜 번거롭고, 현재의 자동 캡셔닝 방법보다 훨씬 신뢰할 수 있습니다.
이 원칙을 바탕으로, 이 워크플로우를 사용하면 ComfyUI로 FLUX를 이용해 이미지를 생성한 후, 해당 이미지와 함께 사용된 캡션을 포함하는 .txt 파일을 자동으로 저장할 수 있습니다. 현재 워크플로우에는 포함되어 있지 않지만, FLUX용 자동 프롬프터를 사용하여 이 과정을 더욱 자동화할 수도 있습니다. 또한, 제가 이미 생성한 40개의 1024x1024 크기 정규화 이미지(chaiNNer 또는 기타 프로그램을 사용해 일괄 리사이징 가능)를 제공하여, 여러분이 데이터셋 제작을 시작할 수 있도록 도와드립니다.
정규화 이미지 사용 시 참고 사항:
앞서 언급한 바와 같이, 정규화 이미지는 데이터셋의 20~50%를 차지해야 합니다.
주로 학습 중인 클래스의 다양한 유형으로 구성되어야 합니다.
사람을 학습하는 경우, 정규화 이미지는 남성, 여성, 다양한 인종, 연령, 머리색, 옷차림, 이미지 스타일, 포즈 등으로 구성되어야 합니다.
해당 클래스와 직접적으로 관련되지 않은 요소(배경, 설정, 소품 등)도 정규화 이미지의 10~20%를 차지해야 합니다.
학습 시, 모델이 과적합되지 않는지 판단하기 위해, 주제를 포함하지 않는 일부 샘플 프롬프트도 함께 포함하는 것이 바람직합니다.