Wan2.2 Animate GGUF - 비디오 애니메이션 워크플로우

개요

이 ComfyUI 워크플로우는 GGUF 형식의 Wan2.2-Animate-14B 모델을 사용하여 고화질 비디오 애니메이션 및 캐릭터 동작 전이를 가능하게 합니다. 이는 참조 이미지와 동작 소스 비디오를 사용하여 애니메이션 비디오를 생성하는 데 특화되어 있습니다.

주요 기능

🚀 GGUF 모델 최적화

• 메모리 사용 효율성과 빠른 로딩을 위해 GGUF 형식 사용

• 다양한 하드웨어 구성과 호환

• 모델, CLIP, VAE 구성 요소별 별도의 GGUF 로더 포함

🎭 이중 작동 모드

• 캐릭터 교체 모드: 배경은 유지하면서 기존 비디오의 캐릭터를 교체

• 동작 전이 모드: 캐릭터 포즈를 새로운 장면 및 환경에 적용

🛠️ 고급 전처리

• SAM2를 사용한 대화형 점 기반 세그멘테이션

• DWPreprocessor를 통한 자동 포즈 감지

• 더 나은 캐릭터 보존을 위한 얼굴 특징 추출

• 스마트 비디오 스케일링 및 프레임 관리

워크플로우 구조

단계 1: 모델 로딩

• Wan2.2-Animate-14B GGUF 모델 로딩

• CLIP 텍스트 인코더 및 VAE 디코더 구성

• 향상된 결과를 위한 선택적 LoRA 강화 적용

단계 2: 입력 설정

• 캐릭터 외형을 위한 참조 이미지 업로드

• 동작 캡처를 위한 소스 비디오

• 긍정/부정 프롬프트 구성

단계 3: 비디오 전처리

• 소스 비디오에서 프레임, 오디오, FPS 추출

• 최적 차원으로 비디오 크기 조정(16의 배수여야 함)

• 포즈 및 얼굴 참조 데이터 생성

단계 4: 캐릭터 마스킹

• 정밀한 캐릭터 선택을 위한 인터랙티브 포인트 편집기

• 긍정/부정 점 가이던스를 통한 SAM2 세그멘테이션

• GrowMask 및 BlockifyMask 노드를 통한 마스크 정제

단계 5: 애니메이션 생성

• 유연한 비디오 생성을 위한 이중 KSampler 설정

• WanAnimateToVideo 노드가 핵심 애니메이션 로직 처리

• 배치 처리를 통한 비디오 길이 확장 지원

단계 6: 비디오 출력

• 생성된 프레임을 원본 오디오와 재결합

• 원활한 재생을 위해 원본 FPS 유지

• SaveVideo 노드를 통한 여러 출력 옵션

기술적 요구사항

하드웨어

• GGUF 형식 덕분에 다양한 GPU/CPU 구성과 호환

• 표준 모델 형식에 비해 VRAM 요구량 감소

• 최적의 성능을 위해 8GB 이상 RAM 권장

소프트웨어

• 다음 커스텀 노드가 포함된 ComfyUI:

  • ComfyUI-segment-anything-2 (SAM2)

  • comfyui-controlnet-aux (전처리기)

  • comfyui-kjnodes (유틸리티 노드)

  • GGUF 로더 노드

사용 방법

1. 모델 로딩: 모든 GGUF 모델 파일이 올바른 디렉토리에 있는지 확인

2. 차원 설정: 너비/높이를 16의 배수로 구성 (예: 640x640)

3. 미디어 입력: 참조 이미지 및 소스 비디오 업로드

4. 마스크 생성: 포인트 편집기를 사용하여 캐릭터 영역 표시 (긍정 포인트는 Shift+클릭)

5. 프롬프트 구성: 긍정 및 부정 텍스트 프롬프트 설정

6. 실행: 워크플로우를 실행하고 미리보기 노드를 통해 진행 상황 모니터링

적합한 사용 사례

• 정지 이미지에서 캐릭터 애니메이션 생성

• 비디오 간 동작 전이

• 캐릭터 보존을 통한 비디오 스타일 전이

• 단편 영화 및 소셜 미디어 콘텐츠 제작

이 워크플로우는 GGUF 모델 형식을 통해 품질과 계산 효율성을 균형 있게 조화시킨 고급 비디오 애니메이션 파이프라인을 나타냅니다.