Wan 2.2 5B - Latent Video Upscaler & Enhancer / Transform Low-Res Videos into HD Masterpieces — The Intelligent Way

zardozaizardozai
67
2K
base model
v3.0v2.0v1.0

세부 정보

파일 다운로드

모델 설명

저해상도 영상을 HD 걸작으로 변환하세요 — 지능적인 방식

서론:传统 업스케일링을 넘어

RealESRGAN과 같은 전통적인 AI 업스케일러는 이미지에는 훌륭하지만, 영상에서는 종종 한계를 보입니다. 아티팩트를 생성하거나 의미 있는 세부 정보를 추가하지 못하고, 영상이 흐릿하고 신뢰할 수 없어 보이게 만들 수 있습니다.

이 워크플로우인 **"Wan 2.2 5B - Latent Video Upscaler"**는 패러다임의 전환을 제시합니다. 단순히 픽셀을 유추하는 것이 아니라, Wan 2.2 5B 텍스트-영상 모델의 거대한 힘을 활용하여 영상을 고해상도로 지능적으로 재해석하고 재구성합니다. 단순히 확대하는 것을 넘어서, 부족한 세부 정보를 ‘상상’하여 기존의 어떤 업스케일러보다도 더 깔끔하고 세밀하며 일관된 HD 영상을 만들어냅니다.

요약: 영상에는 이미지 업스케일러를 사용하지 마세요. 확산 모델을 사용해 지능적 세부 정보로 진정한 향상과 업스케일링을 수행하세요.

주요 기능 및 특징

  • 🤖 지능적 향상: Wan 2.2 5B 모델을 활용해 의미론적으로 올바른 세부 정보, 텍스처 및 일관성을 추가하여 전통적인 업스케일러를 능가합니다.

  • ⚡ 빠르고 효율적: 가벼운 5B 파라미터 모델 기반으로, 기존 방식보다 잠재 공간 업스케일링 및 노이즈 제거가 훨씬 빠릅니다.

  • 🎨 품질 보존: 약한 노이즈 제거(denoise=0.2)를 적용해 영상의 원래 움직임이나 콘텐츠를 극도로 변경하지 않고 향상 및 업스케일링을 수행합니다.

  • 📈 2배 해상도 향상: 디코딩 전 잠재 공간에서 입력 영상의 해상도를 직접 2배로 증가시킵니다.

  • 🎬 부드러운 최종 출력: 최종 렌더링 시 부드러운 움직임을 위해 옵션으로 RIFE 프레임 보간을 적용해 프레임률을 16fps에서 32fps로 두 배로 증가시킵니다.

  • 🔊 오디오 전달: 원본 영상의 오디오 트랙을 자동으로 최종 향상된 출력에 유지합니다.

워크플로우 개요 및 전략

이 워크플로우는 정교한 영상 처리 체인입니다:

  1. 입력: VHS_LoadVideo를 사용해 저해상도 원본 영상을 로드합니다.

  2. 초기 업스케일링: 영상은 목표 해상도에 도달하기 위해 즉시 Lanczos 필터로 2배 업스케일링됩니다. 이는 모델의 더 나은 시작점을 제공합니다.

  3. 잠재 공간 처리: 업스케일링된 프레임이 잠재 공간으로 인코딩됩니다.

  4. 지능적 향상: 워크플로우의 핵심입니다. Wan 2.2 5B 모델은 품질 상향 및 세부 정보 억제 프롬프트에 따라 단지 8단계 동안 UniPC로 잠재 공간을 부드럽게 노이즈 제거(denoise=0.2)합니다. 이 단계에서 ‘마법’이 일어납니다—모델이 타당하고 고품질의 세부 정보를 채워넣습니다.

  5. 디코딩: 향상된 잠재 표현을 고해상도 이미지 시퀀스로 디코딩합니다.

  6. 최종 출력:

    • 옵션 A: 즉시 업스케일링된 16fps 영상 저장.

    • 옵션 B (권장): 시퀀스를 RIFE VFI에 통과시켜 프레임을 보간하여 32fps로 만든, 고해상도이면서 초부드러운 최종 영상 생성.

기술적 세부사항 및 요구 사항

🧰 필요 모델:

  • 베이스 모델: (GGUF 형식)

    • Wan2.2-TI2V-5B-Q8_0.gguf

    • 출처: HuggingFace 또는 기타 모델 저장소에서 가져옴.

  • LoRA:

    • Wan2_2_5B_FastWanFullAttn_lora_rank_128_bf16.safetensors (강도 0.5 적용)

  • VAE:

    • Wan2.2_VAE.safetensors

  • CLIP Vision: (GGUF 로더용)

    • umt5-xxl-encoder-q4_k_m.gguf

  • 보간 모델:

    • rife47.pth (RIFE VFI 노드용)

⚙️ 권장 하드웨어:

  • 편안한 운영을 위해 충분한 VRAM을 가진 GPU(예: 12GB 이상)를 권장합니다. 특히 긴 영상을 처리할 때 중요합니다.

🔌 커스텀 노드:
이 워크플로우는 다음을 사용합니다:

  • comfyui-videohelpersuite (VHS) — 영상 로딩/병합용

  • comfyui-frame-interpolation — RIFE VFI용

  • comfyui-gguf / gguf — 모델 로딩용

  • comfyui-easy-use — 메모리 관리용

  • comfyui-kjnodes — 성능 패치(Sage Attention)용

사용 방법

  1. JSON 로드: 제공된 .json 파일을 ComfyUI에 임포트합니다.

  2. 모델 로드: 모든 필요한 모델이 올바른 폴더에 있는지 확인하고, LoaderGGUF, VAELoader, LoraLoaderModelOnly 노드의 경로를 검사합니다.

  3. 영상 선택: VHS_LoadVideo 노드에서 비디오 아이콘을 클릭해 저해상도 입력 영상을 선택합니다.

  4. 프롬프트 실행: 워크플로우를 실행합니다!

  5. 출력 확인: 출력 디렉토리에서 두 개의 향상된 영상을 찾으세요:

    • .../Wan 2.2 5B Upscales/Denoise 0.2_xxxxx.mp4 (16fps)

    • .../Wan 2.2 5B Upscales/Denoise 0.2_32fps_xxxxx.mp4 (32fps — 더 부드러움)

팁 & 트릭

  • 노이즈 제거 강도: KSampler의 denoise 매개변수(기본값 0.2)가 핵심입니다.

    • ~0.1–0.3: 업스케일링/향상에 최적. 원본 콘텐츠를 보존하면서 품질을 향상시킵니다.

    • >0.5: 콘텐츠와 스타일을 크게 변경하기 시작해, 영상을 기반으로 새로운 생성으로 이어집니다.

  • 원본 품질: 이 워크플로우는 이전 생성기에서 나온 낮은 품질, 픽셀화되거나 노이즈가 많은 영상에 새로운 생명을 불어넣는 데 탁월합니다.

  • 프롬프트 설계: 긍정적 프롬프트(high detail, high quality...)는 일반적으로 향상을 유도하도록 설정되어 있습니다. 스타일 변경이 필요하면 이 프롬프트를 수정할 수 있습니다(예: "시네마틱, 필름 그레인, 사진처럼 사실적").

결론: 영상 업스케일링의 미래

이 워크플로우는 확산 모델의 강력한 새로운 활용 방식을 보여줍니다: 단순 생성기를 넘어서, 지능적 향상 도구로 말입니다. Wan 2.2 모델 내부의 지식을 활용해, 전통적 방법으로는 절대 달성할 수 없는 수준의 일관성과 세부 정보로 영상을 업스케일링할 수 있습니다. 완전한 생성보다 빠르고, 단순한 확대보다 똑똑합니다.

저해상도 클립을 업로드하고, 지능적 업스케일링의 혁명을 직접 경험하세요.

크레딧: ComfyUI 커뮤니티가 제작했습니다. Wan 2.2 모델과 FastWanFullAttn LoRA의 제작자들에게 특별히 감사드립니다.

이 모델로 만든 이미지

이미지를 찾을 수 없습니다.