qwen-edit-skin

Qwen-Image-Edit-2509에서 향상된 피부 실감을 위한 미세 조정된 LoRA

이 저장소에는 이미지의 인체 피부의 실감도와 세부 사항을 향상시키기 위해 설계된 미세 조정된 저랭크 적응(LoRA) 모델이 포함되어 있습니다. 이 LoRA는 강력한 Qwen/Qwen-Image-Edit-2509 모델 위에 학습되었으며, 고급 이미지 편집 기능을 활용하여 더 자연스럽고 세밀한 피부 질감을 생성하는 데 초점을 맞춥니다.

이 모델은 AI-Toolkit을 사용하여 로컬 RTX 5090 GPU에서 5,000스텝 동안 학습되었습니다. 이 LoRA는 사진가, 디지털 아티스트, 생성되거나 편집된 이미지의 인물 품질을 향상시키고자 하는 모든 사용자에게 이상적입니다.

모델 설명

qwen-edit-skin LoRA는 Qwen/Qwen-Image-Edit-2509 기본 모델의 특수화된 미세 조정 버전입니다. 기본 모델은 다중 이미지 편집과 단일 이미지 일관성 유지, 특히 개인의 신분을 유지하는 데 뛰어난 능력을 지닌 다목적 이미지 편집기입니다. 이 LoRA는 그 기반 위에 구축되어 인간 피부의 미세한 특징을 특히 다루며, 원본 생성물에는 없을 수 있는 세부 사항과 실감도를 추가합니다.

학습은 AI ToolKit의 파생 버전을 사용하여 수행되었으며, 이는 확산 모델 미세 조정을 위한 포괄적인 도구 모음입니다. 데이터셋 구축 과정은 대상 피부 세부 사항을 역으로 수정하는 방식으로 진행되었습니다:

• 피부가 노출된 다양한 인물 초상화의 실제 이미지를 촬영

• 각 이미지를 최종 결과로 기대되는 "대상" (THE AFTER) 이미지로 캡션 처리 — 표준 Qwen Edit 워크플로우에서의 최종 결과

• Photoshop을 사용하여 이미지를 편집하여 가우시안 블러를 추가하고 피부 톤을 부드럽게 하여 피부 질감, 톤, 모공을 덜 드러나게 함

• 이러한 이미지들을 Qwen Edit 학습을 위한 "제어" (THE BEFORE) 이미지로 사용

학습 세부 정보

모델은 다음 주요 파라미터로 미세 조정되었으며, 이 정보는 함께 제공되는 config.yaml 파일에서 확인할 수 있습니다:

하드웨어:

• GPU: NVIDIA RTX 5090

학습 설정:

• 학습 스텝: 5,000

• 배치 크기: 1

• 그래디언트 누적: 1

• 학습률: 1.0e-04

• 최적화기: adamw8bit

• 노이즈 스케줄러: flowmatch

• 해상도: 모델은 512, 768, 1024 픽셀 해상도의 데이터셋으로 학습되었습니다.

• 정밀도: bf16

네트워크 아키텍처:

• 유형: LoRA

• 선형 랭크 및 알파: 16

• 합성곱 랭크 및 알파: 16

최적화기로 adamw8bit를 선택한 것은 학습 과정의 메모리 사용량을 줄여, 성능을 저하시키지 않고도 소비자용 하드웨어에서 더 효율적인 미세 조정을 가능하게 합니다. flowmatch 노이즈 스케줄러는 현대적인 접근 방식으로, 보다 효율적인 학습과 고품질 이미지 생성을 이끌어낼 수 있습니다.

LoRA 아키텍처의 주목할 만한 특징은 선형 계층과 합성곱 계층 모두의 알파 값이 각각의 랭크(16)와 동일하게 설정되어 있다는 점입니다. 이 균형 잡힌 접근 방식은 LoRA 학습의 일반적인 시작점으로, 학습된 적응을 비례하는 스케일링 계수로 적용하여 과적합을 방지하면서도 원하는 새로운 특징을 효과적으로 학습할 수 있도록 도와줍니다.

사용 방법

이 LoRA를 사용하려면 기본 모델 Qwen/Qwen-Image-Edit-2509를 로드한 후, qwen-edit-skin.safetensors 파일로 미세 조정된 LoRA 가중치를 적용해야 합니다. 이전 버전의 가중치는 참조용으로 업로드되었으나, 최종 버전은 qwen-edit-skin.safetensors입니다. 또한 저장소에 첨부된 ComfyUI 예시 워크플로우를 활용하여 다양한 가중치 간 결과를 비교할 수 있습니다.

권장 가중치는 1에서 1.5 사이이며, 제공된 예시에서는 LoRA의 효과를 보여주기 위해 최대 2까지 사용하였으며, 이는 효과를 위한 과도한 강도로 간주됩니다.

사용 목적

이 LoRA는 디지털 이미지에서 인간 피부의 실감도를 향상시키기 위해 창의적이고 예술적인 목적으로 사용되며, 다음 사용자에게 적합합니다:

• 디지털 아티스트: 캐릭터의 피부에 더 세밀한 디테일과 질감을 추가

• 사진가: 초상화의 보정 및 향상

• AI 아트 애호가: 더 생동감 있는 인물 이미지 생성

한계 및 편향

이 모델은 대규모 사전 학습 모델의 미세 조정 버전이며, 그 내재된 편향을 일부 포함할 수 있습니다. 이 LoRA의 학습 데이터셋은 피부 세부 사항 향상에 초점을 맞추었기 때문에 인종, 피부색, 피부 유형의 전체적인 다양성을 균형 있게 반영하지 않을 수 있습니다. 사용자는 이를 인지하고 책임감 있게 모델을 사용해야 합니다. 모델의 출력은 입력 프롬프트에 영향을 받으므로, 생성 과정을 안내하기 위해 기술적이고 포용적인 언어를 사용할 것을 권장합니다.

---

면책 조항: 이 모델은 예술적이고 창의적인 용도를 위해 설계되었습니다. 사용자는 자신이 생성하는 콘텐츠에 대한 책임을 지며 윤리적 지침을 준수하고 개인의 프라이버시와 존엄을 존중해야 합니다.

트리거 단어

이미지 생성을 유도하려면 make the subjects skin details more prominent and natural를 사용하세요.