Cloth Migration and dressing style transfer

문의하기:

QQ 그룹: 571587838

Bilibili: 홈페이지

Civitai: ttplanet

微信: tangtuanzhuzhu

이 프로젝트는 Stable Diffusion(SD) 모델에 초점을 맞춘 실험적 프로젝트입니다. 단일 생성 이미지 내에서 동일한 객체나 캐릭터는 매우 높은 일관성을 유지합니다. 저는 이 문제를 SDXL 모델에서 이미 해결하려 시도했습니다.

그 당시, 저는 ControlNet 모델에 감쇠 가중치를 적용하여 좋은 결과를 얻었습니다. 참조 이미지를 사용함으로써, 극도로 높은 일관성을 유지한 채 단일 캐릭터의 여러 시점을 한 번에 생성할 수 있었습니다. 바쁜 일정으로 인해 이 작업에 대한 추가 탐구는 보류되었습니다.

최근, 저는 ic-lora에 대한 논의를 접했고, 이는 여전히 표준 LoRA이지만 DIT 모델을 활용하여 더 나은 일관성과 이미지 형식 제어를 달성한다는 점에 주목했습니다. 이 형식 제어 효과를 활용하면 응용 분야에서도 일관성을 달성할 가능성이 있습니다. 네티즌 “lrzjason aka xiaozhi”가 도입한 잠재적 가이드 워크플로우 개념에 영감을 받아, 저는 전체 전처리 로직을 단순화하여 매우 효과적인 마이그레이션 방법을 개발했습니다.

이 프로세스와 방법을 통해, 모델이 필요한 콘텐츠에 집중하도록 유도함으로써 놀라운 마이그레이션 및 일반화 효과를 달성할 수 있으며, 놀라운 일관성을 제공합니다. 현재, 저는 옷 관련 마이그레이션 모델을 개발했으며, 다음과 같은 기능을 제공합니다:

1. 놀라울 정도로 일관된 참조 이미지 옷 마이그레이션

2. 애니메이션 옷을 실사로, 또는 실사 옷을 애니메이션으로 전환

3. 가중치를 통한 옷 유사성 제어로 디자인 창의성 자극

추가 계획

1. 특징이 뚜렷한 아이템 전이

2. 복잡하고 정교한 패턴 전이

3. 얼굴 전이

4. 커뮤니티에서 제안된 추가 아이디어

사용 방법

Migration LoRA 폴더에서 제 Hugging Face 프로젝트에서 모델을 다운로드할 수 있습니다. 현재는 Cloth LoRA만 제공되며, 준비되면 추가로 업데이트하겠습니다.

요구 사항

• ComfyUI: 자동 처리로 모델을 실행합니다.

• 커스텀 노드:

  1. TTP Toolset: ComfyUI_TTP_Toolset (최신 버전으로 업데이트하세요)

  2. Tag Node: 추가 지시를 위한 custom_modification 기능이 있는 제 버전을 추천합니다: ComfyUI_JC2

  3. **Alimama flux inpainting 모델도 사용했으며, 여기서 다운로드하세요: Alimama_flux_inpainint

단계

**워크플로우는 여기에서 확인하세요: workflow

**또는 여기에서 다운로드하세요: /model/950776

1. ComfyUI 및 위에 나열된 필요한 커스텀 노드를 설치합니다.

2. Hugging Face의 Migration LoRA 폴더에서 Cloth LoRA를 다운로드합니다.

3. 다운로드한 모델을 ComfyUI에 로드합니다.

4. 제공된 워크플로우 예제를 사용하여 원하는 결과를 얻습니다.

5. 주의: Alimama inpainting 모델을 동시에 로드해야 하므로, flux 버전을 신중히 선택해야 합니다. 메모리가 부족하다고 느낀다면 nf8 버전을 시도하거나 FluxExt-MZ와 같은 메모리 최적화 노드를 사용하세요.

워크플로우를 자유롭게 실험하고, 본인의 요구에 맞게 수정해 주세요!