Flux.1 dev Inpaint Enhanced Workflow

이것은 원활하고 정밀한 향상된 인페인팅 워크플로우로, Flux.1 dev Inpainting Enhanced Workflow입니다.

알리바바 스튜디오의 기본 워크플로우와 비교할 때, 세 가지 주요 개선 사항이 있습니다:

1. 텍스트 인코더 변경:

clip-L 텍스트 인코더를 ViT-L-14-TEXT-detail-improved-hiT-GmP-HF 텍스트 인코더로 교체했습니다.

ViT-L-14-TEXT-detail-improved-hiT-GmP-HF는 다음 기능을 갖춘 CLIP 모델의 개선된 버전입니다:

• 높은 정확도: 이 모델은 ImageNet/ObjectNet에서 약 0.90의 정확도를 달성하며, 원래 OpenAI CLIP 모델(~0.85)보다 크게 향상되었습니다.

• 기하학적 파라미터화(GmP): 이 기술을 통해 모델은 이미지 및 텍스트 세부 사항을 더 잘 처리합니다.

• 개선된 텍스트 세부 사항 처리: 이 모델은 텍스트 세부 사항 처리를 위해 특별히 최적화되어, 텍스트와 이미지 매칭 작업에서 더 나은 성능을 발휘합니다.

이러한 개선 사항 덕분에 ViT-L-14-TEXT-detail-improved-hiT-GmP-HF 모델은 이미지 분류 및 텍스트 매칭 작업에서 더욱 정확하고 뛰어난 성능을 발휘합니다.

ViT-L-14-TEXT-detail-improved-hiT-GmP-HF.safetensors를 다운로드하여 models/clip 폴더에 저장하세요.

2. 스케치 참조 영역 및 optional_context 마스크:

스케치 참조 영역을 추가하고 optional_context 마스크를 통합하면 이미지 블렌딩 효과를 크게 향상시킬 수 있습니다.

optional_context 마스크는 ViT-L-14-TEXT-detail-improved-hiT-GmP-HF 모델 내부의 기능으로, 텍스트 및 이미지 데이터를 보다 유연하고 세밀하게 처리할 수 있게 해줍니다. 이 마스크를 사용하면 모델이 입력 데이터의 특정 부분에 선택적으로 집중할 수 있어, 세부적인 설명을 더 잘 이해하고 생성할 수 있습니다.

• 왼쪽 스케치는 수정이 필요한 영역을 나타냅니다.

• 오른쪽 스케치는 재drawing을 위한 참조 영역입니다.

3. Hyper Flux.1 dev 8steps LoRA 모델:

Hyper Flux.1 dev 8steps LoRA 모델을 사용하고 반복 단계를 8단계로 설정할 수 있습니다. 기본적으로 이 기능은 비활성화되어 있으며 28단계로 설정되어 있습니다.

Hyper-FLUX.1-dev-8steps-lora.safetensors를 다운로드하여 models/loras 폴더에 저장하세요.