Wan 2.2 Fun 5B Inpainting - Seamless Image Morphing

zardozaizardozai
14
327
base model
v2.0v1.0

세부 정보

파일 다운로드

모델 설명

🎬 서론

새로운 형태의 AI 창의성을 해방하세요! 이 워크플로우는 특수화된 Wan 2.2 Fun 5B Inpainting 모델의 힘을 활용하여, 하나의 이미지가 다른 이미지로 부드럽게 변형되는 놀라운 연결된 비디오 애니메이션을 생성합니다.

텍스트 프롬프트가 움직임을 이끄는 기존 방식을 잊으세요. 여기서는 시작 이미지와 종료 이미지를 제공하기만 하면 됩니다. AI는 두 이미지를 지능적으로 분석하여 그 사이에 자연스럽고 종종 꿈같은 전환을 생성합니다. 매혹적인 루프, 개념 아트의 진화, 또는 두 아이디어를 비디오로 연결하고 싶은 경우에 완벽합니다.

이 워크플로우는 소비자 하드웨어에서도 효율적으로 실행할 수 있도록 GGUF 양자화를 최적화했습니다.

✨ 주요 기능 및 핵심 특징

  • 이미지 간 변형(Image-to-Image Morphing): 핵심 기능입니다. 시작 이미지와 종료 이미지를 입력하면 AI가 전환 비디오를 자동으로 생성합니다.

  • GGUF 양자화 지원: LoaderGGUF 및 ClipLoaderGGUF 노드를 활용하여, 고급 GPU 없이도 5B 파라미터 모델을 실행 가능합니다.

  • 속도를 위한 라이트닝 LoRA: 4단계 LoRA를 통합하여 표준 샘플링보다 생성 속도를 크게 향상시킵니다.

  • 단순하고 직관적인 설정: 워크플로우는 논리적인 단계로 명확히 그룹화되어 있습니다: 모델 로드, 이미지 업로드, 프롬프트 설정, 생성.

  • 고화질 출력: 고해상도(944x944)와 부드러운 프레임 속도(24 FPS)로 설정되었으며, 강력한 VHS_VideoCombine 노드를 통해 MP4 파일로 자동 패키징됩니다.

🧩 작동 원리 (숨겨진 마법)

이 워크플로우는 실행이 매우 우아합니다:

  1. 모델 로드 (GGUF): LoaderGGUF 노드는 양자화된 Wan2.2-Fun-5B-InP 모델을, ClipLoaderGGUF 노드는 UMT5 텍스트 인코더를 로드합니다. 표준 VAELoader 노드는 디코딩용 Wan VAE를 로드합니다.

  2. 이미지 쌍 업로드: 핵심 단계입니다. 두 개의 입력을 제공하세요:

    • start_image**: 애니메이션의 초기 상태.

    • end_image**: 전환하고자 하는 최종 상태.

  3. 분위기 정의 (프롬프트): 이미지가 움직임을 주도하지만, 텍스트 프롬프트는 전체 생성 시퀀스의 스타일과 품질을 정의하는 데 도움을 줍니다. 포함된 긍정적 프롬프트는 “꿈같은, Q 스타일” 외관을 생성하고, 부정적 프롬프트는 일반적인 아티팩트를 필터링합니다.

  4. 인페인팅 마법 (WanFunInpaintToVideo): 이 특화된 노드가 핵심 엔진입니다. 두 이미지와 프롬프트를 인코딩하여 시작 이미지에서 종료 이미지로 전환하는 잠재적인 비디오 표현을 준비합니다.

  5. 빠른 샘플링: 준비된 잠재 표현은 KSampler로 전달되며, 4단계 라이트닝 LoRA를 사용해 빠르게 노이즈를 제거하여 애니메이션의 최종 프레임을 생성합니다.

  6. 디코딩 및 내보내기: VAE가 잠재 프레임을 이미지로 디코딩하고, VHS_VideoCombine 노드가 이를 부드럽게 결합하여 최종 고품질 MP4 비디오 파일을 생성합니다.

⚙️ 사용법 및 실행 지침

사전 조건: 모델 다운로드

다음 모델 파일을 다운로드하여 ComfyUI의 models 디렉토리에 저장해야 합니다.

필수 모델:

  • Wan2.2-Fun-5B-InP-Q8_0.gguf → /models/unet/ (또는 /models/diffusion/)에 저장

  • umt5-xxl-encoder-q4_k_m.gguf → /models/clip/에 저장

  • wan_2.2_vae.safetensors → /models/vae/에 저장

4단계 라이트닝 파이프라인용:

  • Wan2_2_5B_FastWanFullAttn_lora_rank_128_bf16.safetensors → /models/loras/에 저장
    (참고: 워크플로우는 현재 이 파일을 가리키지만, 노트에는 다른 공식 LoRA가 언급되어 있습니다. 업로드 시 어떤 파일을 사용할지 확인하세요.)

워크플로우 로드

  1. 제공된 video_wan2_2_5B_fun_inpaint.json 파일을 다운로드하세요.

  2. ComfyUI에서 JSON 파일을 창에 드래그 앤 드롭하거나, 로드 버튼을 사용하세요.

워크플로우 실행

  1. 이미지 쌍 업로드:

    • 왼쪽의 "LoadImage" 노드에 start_image.png를 업로드하세요.

    • 오른쪽의 "LoadImage" 노드에 end_image.png를 업로드하세요.

    • 팁: 더 일관된 변형을 원한다면, 구성 또는 테마가 유사한 이미지를 사용하세요.

  2. 프롬프트 설정 (선택 사항이지만 권장):

    • "CLIP Text Encode (Positive Prompt)" 노드의 텍스트를 수정하여 생성된 비디오의 스타일을 조정하세요 (예: "수채화 스타일", "사이버펑크", "리얼리즘").

    • 부정적 프롬프트는 미리 채워져 있으며, 일반 사용에 적합합니다.

  3. 프롬프트를 큐에 넣으세요! AI가 두 이미지를 연결하는 독특한 애니메이션을 상상하는 모습을 관찰하세요.

⚠️ 중요한 참고사항 및 팁

  • 이미지 유도: 이 모델의 강점은 이미지에 있습니다. 텍스트 프롬프트는 스타일을 보조하는 역할만 합니다. 비디오의 핵심 서사는 업로드한 두 이미지 간의 전환입니다.

  • 길이 설정: WanFunInpaintToVideo 노드의 length 파라미터는 121프레임으로 설정되어 있습니다. 24 FPS 기준으로 약 3.3초의 비디오가 생성됩니다. 짧거나 긴 애니메이션을 원하면 이 값을 조정할 수 있지만, VRAM 제한을 고려하세요.

  • 해상도: 워크플로우는 944x944로 설정되어 있습니다. WanFunInpaintToVideo 노드에서 width와 height를 조정할 수 있으나, 이는 VRAM 사용량과 성능에 영향을 줄 수 있습니다.

  • 라이트닝 LoRA: 4단계 LoRA는 속도 향상을 위해 사용됩니다. 품질 문제가 발생하거나 다른 스타일을 시도하려면 LoraLoaderModelOnly 노드에서 강도를 조정하거나, 노드 정보에 언급된 공식 wan2.2_i2v_lightx2v_4steps_lora를 시도해보세요.

🎭 예시 결과

시작 이미지: 닫힌 꽃 봉오리.
종료 이미지: 같은 꽃이 만개한 상태.

프롬프트: "꽃이 피어나는 아름다운 타임랩스, 매크로 사진, 선명한 초점, 영화적인 조명."

(이 워크플로우로 생성된 짧은 비디오 예시를 여기에 삽입하세요)

다른 아이디어: 스케치에서 시작하여 완성된 아트워크로 끝내기.

📁 다운로드 및 링크

결론

💎 결론

이 워크플로우는 AI 비디오 생성의 흥미롭고 덜 탐색된 분야를 열어줍니다. 텍스트-투-비디오에서 이미지-유도 비디오로 전환함으로써, 애니메이션의 시작과 끝점을 정확하고 창의적으로 제어할 수 있습니다. GGUF를 활용함으로써 이 창의적인 힘을 넓은 사용자층이 이용할 수 있게 되었습니다.

예술가, 디자이너, 독특하고 부드러운 전환과 시각적 이야기를 만들고 싶은 누구에게나 완벽합니다. 다양한 이미지 쌍과 프롬프트를 실험하여 이 “Fun” 모델의 잠재력을 모두 발견해보세요.

당신이 만들어낼 변형을 기대합니다! 아래 댓글에 자신의 작품을 공유해주세요.

이 모델로 만든 이미지

이미지를 찾을 수 없습니다.