Cloth Migration and dressing style transfer

이 워크플로우는 프롬프트를 수정하면 다른 ic-lora에 적용할 수 있습니다!!!

문의하기:

QQ 그룹: 571587838

Bilibili: 홈페이지

Civitai: ttplanet

微信: tangtuanzhuzhu

이 프로젝트는 Stable Diffusion(SD) 모델에 초점을 맞춘 실험적 프로젝트입니다. 단일 생성 이미지에서 동일한 객체나 캐릭터는 매우 높은 일관성을 유지합니다. 저는 이미 SDXL 모델에서 이 문제를 해결하려 시도했습니다.

당시 저는 ControlNet 모델에 감쇠 가중치를 적용하여 우수한 결과를 얻었습니다. 참조 이미지를 사용하면, 극도로 높은 일관성을 유지하면서 단일 캐릭터의 여러 각도를 한 번에 생성할 수 있었습니다. 바쁜 일정으로 인해 이 작업에 대한 추가 탐구는 일시 중단되었습니다.

최근, ic-lora에 관한 논의를 접하며, 이것이 여전히 표준 LoRA이지만 DIT 모델을 활용하여 더 나은 일관성과 이미지 형식 제어를 가능하게 한다는 것을 알게 되었습니다. 이 형식 제어 효과를 활용하면 응용 분야에서 일관성을 달성할 수 있을 것으로 기대됩니다. 네티즌 “lrzjason aka xiaozhi”가 도입한 잠재 공간 기반 워크플로우 개념을 영감으로, 저는 전체 전처리 논리를 단순화하여 매우 효과적인 이식 방법을 개발했습니다.

이 과정과 방법론을 통해, 모델이 필요한 콘텐츠에 집중하도록 유도함으로써 놀라운 이식 및 일반화 효과를 달성할 수 있으며, 놀라운 일관성을 제공합니다. 현재 저는 의류에 대한 맞춤형 이식 모델을 개발했으며, 다음과 같은 기능을 제공합니다:

1. 놀라운 일관성을 가진 참조 이미지 의류 이식

2. 만화 스타일 의류를 실제 스타일로, 혹은 실제 의류를 만화 스타일로 전환

3. 가중치를 통한 의류 유사성 제어로 디자인 창의성 자극

추가 계획

1. 명확한 특징을 가진 아이템 전이

2. 복잡하고 정교한 패턴 전이

3. 얼굴 전이

4. 커뮤니티에서 제안된 추가 아이디어

사용 방법

Migration LoRA 폴더에서 제 Hugging Face 프로젝트에서 모델을 다운로드할 수 있습니다. 현재는 Cloth LoRA만 제공되며, 준비되는 대로 추가할 예정입니다.

또는 여기서 다운로드:

/model/950736/cloth-migration-and-dressing-style-transfer

요구 사항

• 자동 프로세스로 모델을 실행하기 위한 ComfyUI

• 커스텀 노드:

  1. TTP Toolset: ComfyUI_TTP_Toolset (최신 버전으로 업데이트해 주세요)

  2. Tag Node: 추가 지향성을 제공하는 custom_modification 기능이 있는 제 버전을 추천합니다: ComfyUI_JC2

  3. **Alimama flux inpainting 모델도 사용했습니다: Alimama_flux_inpainint

단계

**워크플로우는 여기에 있습니다: workflow

1. 위에 나열된 ComfyUI 및 커스텀 노드를 설치합니다.

2. Hugging Face의 Migration LoRA 폴더에서 Cloth LoRA를 다운로드합니다.

3. 모델을 ComfyUI에 로드합니다.

4. 제공된 워크플로우 예제를 사용하여 원하는 결과를 달성합니다.

5. 주의: Alimama inpainting 모델을 동시에 로드해야 하므로, flux 버전을 신중하게 선택해야 합니다. VRAM이 부족할 경우 nf8 버전을 시도해 보세요. 또는 FluxExt-MZ와 같은 메모리 최적화 노드를 사용하세요.

필요에 따라 워크플로우를 자유롭게 실험하고 수정해 주세요!