Qwen-Image-Edit 저해상도 입력 복구 LoRA

모델 소개

Qwen-Image-Edit는 강력한 오픈소스 이미지 편집 모델입니다. 그러나 모델의 입력 해상도가 이미지 생성 대상 해상도보다 낮을 경우, 모델은 이미지 세부 사항을 유지하는 능력이 떨어집니다. 이 문제를 해결하기 위해 다음과 같은 두 가지 수정을 수행했습니다:

1. Rope 보간: Qwen-Image DiT의 입력 이미지 위치 인코딩을 대상 해상도의 위치 인코딩 보간 샘플링으로 변경합니다. 이 수정은 수정 2와 무관하게 적용될 수 있습니다.

2. LoRA 미세 조정: DiT에 의해 보간된 인코딩의 일반화를 향상시키기 위해 빠르게 LoRA 모델을 학습합니다.

이 두 가지 수정을 통해 모델은 저해상도 입력이 주어져도 일관된 편집 이미지를 생성할 수 있습니다. 또한 고해상도 입력과 비교하여 모델의 추론 시간이 크게 단축됩니다.

출처: https://modelscope.cn/models/DiffSynth-Studio/Qwen-Image-Edit-Lowres-Fix