SD1.5 Direct Preference Optimization - DPO
세부 정보
파일 다운로드
모델 설명
내 모델이 아닙니다. HuggingFace 리포지토리에서 가져왔습니다. 이는 특히 중간 블록에서 훌륭한 병합 모델입니다. 직접 시도해보세요: 좋아하는 모델을 가져와서 약 10% 입력, 20% 중간 블록으로 병합한 후 그 후로 조정하세요.
원본 U-Net: https://huggingface.co/mhdang/dpo-sd1.5-text2image-v1
bdsqlz의 릴리즈: https://huggingface.co/bdsqlsz/dpo-sd-text2image-v1-fp16
bdsqlz는 여기서 SDXL 모델을 릴리즈했습니다: /model/237681/dpo-sdxl-fp16 그러나 우리 같은 1.5 사용자들은 여전히 구시대에 머물러 있었습니다.
fp32 버전을 얻기 위해 몇 가지 해킹을 해야 했기 때문에, 본인의 VAE를 준비해야 합니다.
직접 선호 최적화를 이용한 확산 모델 정렬
텍스트-이미지 확산 모델을 위한 직접 선호 최적화(DPO)는 인간의 비교 데이터를 직접 최적화하여 확산 모델을 인간의 텍스트 선호도에 맞추는 방법입니다. 자세한 내용은 직접 선호 최적화를 이용한 확산 모델 정렬 논문을 참조하세요.
SD1.5 모델은 오프라인 인간 선호도 데이터 pickapic_v2를 사용하여 stable-diffusion-v1-5에서 미세 조정되었습니다.
SDXL 모델은 오프라인 인간 선호도 데이터 pickapic_v2를 사용하여 stable-diffusion-xl-base-1.0에서 미세 조정되었습니다.

