WAN VACE 2.2 | Perfect for IG/TIKTOK | V2V

지침

여기에는 V2V WAN 2.2 + VACE 워크플로우의 버전 2입니다. 고수준에서 어떻게 작동하는지 설명드립니다:

주체 참조 이미지를 업로드합니다 (노드 이름: ⭐️ Load Image of Reference Subject)
영상 참조를 업로드합니다 (노드 이름: ⭐️ Media Selection (Reference Video))
프롬프트를 입력합니다
1. WanVideo TextEncode에 수동으로 입력 (기본값)
2. SwissArmyKnife LLM 노드 사용
  1. Qwen3-VL을 LLM Studio를 통해 로컬로 호스팅할 경우 추가 설정이 필요합니다
  2. Gemini API를 사용할 경우 API 키가 필요합니다
워크플로우 실행

참고 사항

주체/캐릭터

고품질의 주체 참조 이미지를 사용하세요
- 제 테스트 결과, 근접 촬영이 가장 효과적입니다
- 주체 참조 이미지의 배경은 생성된 영상에 약간의 영향을 미칩니다
  - 아직 WAN VACE와 호환되는 방식으로 주체만 정확히 마스킹하는 방법을 완벽히 찾지 못했습니다
- VACE의 특성과 시드 등의 변수로 인해 주체의 정체성이 완벽하게 보존되지 않습니다
  - 일관성을 원한다면 주체/캐릭터 LoRA를 사용하는 것이 가장 좋습니다
생성된 영상이 너무 “반짝이는” 느낌이라면, Fun Reward LoRA의 강도를 낮추세요

LoRA 추가

생성된 영상을 미세 조정하기 위해 추가 LoRA를 사용할 수 있지만, 너무 많이 추가하지 마세요. LoRA 간 충돌로 인해 생성 결과가 과도하게 소모되거나 버려진 듯한 느낌이 생길 수 있습니다

프롬프트 작성

주체: 주체가 누구/무엇인지, 무엇을 하고 있는지, 어떻게 보이는지를 명확히 설명하세요
복장: 주체가 착용한 옷에 집중하세요. 옷이 분위기, 질감, 색상 또는 스토리에 어떻게 기여하는지 설명하세요. 직물, 액세서리, 시대적 배경, 핏을 고려하세요
움직임: 주체의 움직임, 카메라의 움직임, 장면 내의 동적 요소를 구체적으로 설명하세요. 유용할 경우 영화적 표현을 사용하세요
장면: 환경을 정의하세요: 시간대, 장소, 배경/전경 요소, 분위기, 구성, 조명
시각적 스타일: 외관과 느낌을 설정하세요: 조명, 컬러 그레이딩, 렌즈 효과, 필름 소재, 사실성 대 스타일리시한 정도, 원하지 않는 요소들(네거티브 프롬프트 인식)

이미 zip 파일의 마크다운 파일에 프롬프트 예시를 추가했습니다

NSFW

NSFW 콘텐츠도 가능합니다. NSFW LoRA와 좋은 프롬프트를 사용하면 됩니다. 아직 고품질의 NSFW LoRA를 찾지 못했기 때문에 포함하지 않았습니다

V1 대비 주요 변경 사항

주체 참조 이미지 업로드 기능 추가
SwissArmyKnife 사용자 정의 노드의 노드 불일치 문제 수정
Gemini에서 Qwen3 VL(로컬 실행 및 Swiss Army Knife 노드로 노출)로 전환
SwissArmyKnife LLM 노드에 의존하지 않고 프롬프트 입력 경로를 추가
VACE 인코딩 노드를 재구성하고 단순화하여, 이제 주체 참조 이미지와 깊이 맵만 사용

로드맵

주체의 정체성을 더 잘 보존하고 참조 이미지의 배경이 생성 영상에 지나치게 영향을 주지 않도록 캐릭터를 마스킹하는 방법을 찾아내기
업스케일링 및 보간을 위한 더 나은 솔루션 필요
VACE의 첫 프레임/마지막 프레임 기능을 활용해 더 긴 영상을 생성하기
NSFW LoRA에 대한 설정 최적화

모델 링크

모든 모델은 Huggingface에서 확인할 수 있습니다. 저는 Nvidia 3090TI(24GB VRAM, 128GB DDR4 RAM)를 사용하고 있습니다. 3000시리즈에서는 FP8_e5m2가 가장 잘 작동합니다. 제 시스템에서 생성에는 약 300~500초가 소요됩니다

Diffusion 모델

WAN 2.2 T2V
- 고노이즈
  - Wan2_2-T2V-A14B-HIGH_fp8_e5m2_scaled_KJ.safetensors
  - Wan2_2_Fun_VACE_module_A14B_HIGH_fp8_e5m2_scaled_KJ.safetensors
- 저노이즈
  - Wan2_2-T2V-A14B-LOW_fp8_e5m2_scaled_KJ.safetensors
  - Wan2_2_Fun_VACE_module_A14B_LOW_fp8_e5m2_scaled_KJ.safetensors

텍스트 인코더

umt5_xxL_fp16.safetensors

VAE

Wan2.1_VAE.safetensors

LoRAs

모델 저장 위치

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   ├── Wan2_2-T2V-A14B-HIGH_fp8_e5m2_scaled_KJ.safetensors
│   │   ├── Wan2_2-T2V-A14B-LOW_fp8_e5m2_scaled_KJ.safetensors
│   │   ├── Wan2_2_Fun_VACE_module_A14B_HIGH_fp8_e5m2_scaled_KJ.safetensors
│   │   └── Wan2_2_Fun_VACE_module_A14B_LOW_fp8_e5m2_scaled_KJ.safetensors
│   ├── 📂 vae/
│   │   └── Wan2.1_VAE.safetensors
│   ├── 📂 text_encoders/
│   │   └── umt5_xxl_fp16.safetensors
│   └── 📂 loras/
│       ├── Wan22_A14B_T2V_LOW_Lightning_4steps_lora_250928_rank64_fp16.safetensors
│       ├── Wan2.2-Fun-A14B-InP-HIGH-MPS_resized_dynamic_avg_rank_21_bf16.safetensors
│       ├── Wan2.2-Fun-A14B-InP-LOW-MPS_resized_dynamic_avg_rank_22_bf16.safetensors
│       ├── Instagirlv2.5-HIGH.safetensors
│       └── Instagirlv2.5-LOW.safetensors