AnimateDiff LCM Workflow - Img2Vid with SparseNet

OpalSkyOpalSky
61
1.1K
animationstyleworkflowbeginneranimatedifflcm | turbo
v2.0v1.0

세부 정보

파일 다운로드

모델 설명

SparseCtrl 애니메이션 ComfyUI 워크플로우 가이드

이 AnimateDiff LCM 애니메이션 워크플로우는 미세한 애니메이션을 쉽게 만들고 저 VRAM 환경과 호환되도록 설계되었습니다. 이 워크플로우는 다양한 모델, 컨트롤 네트워크 및 커스텀 노드를 통합하여 Stable Diffusion을 사용해 정교하고 고화질의 애니메이션을 제공합니다.

시작하기: 초기 설정 및 다운로드

이 설정을 재현하려면 여러 모델 파일과 커스텀 노드가 필요합니다. 아래는 시작을 위한 목록입니다:

  1. 권장 체크포인트: AniVerse - V5.0, IMP, PerfectDeliberate, PhotonLCM과 같은 고품질 Stable Diffusion 체크포인트.

  2. AnimateDiff 모션 모델 및 LoRA: wangfuyun의 AnimateLCM – 부드러운 프레임별 애니메이션을 위한 모션 모델과 LoRA를 모두 포함합니다.

  3. 고급 컨트롤 네트워크: Kosinkadink의 Advanced ControlNet – 스케줄링, 마스킹 기능 및 슬라이딩 컨텍스트 지원을 추가하여 정교한 애니메이션 제어를 제공합니다.

  4. SparseCtrl 컨트롤 네트워크: SparseCtrl – 정밀한 움직임 가이드를 위한 희소 제어를 제공합니다.

  5. QRcode Monster 컨트롤 네트워크: QRcode Monster – 이 모델은 변형 애니메이션의 주체입니다.

  6. Clip Vision 모델: Clip Vision은 이미지 컨디셔닝을 향상시키는 데 필수적입니다.

  7. 업스케일러 모델: 4x NMKD Siax 업스케일러 – 애니메이션이 선명하고 고품질로 보이도록 최종 업스케일 단계에 사용됩니다.

팁: 이러한 모델들을 ComfyUI 내 적절한 디렉토리에 배치하세요 (예: ./models/checkpoints, ./models/controlnets, ./models/upscalers).

애니메이션 생성을 위한 입력 단계

초기 설정 구성:

  • 체크포인트: AniVerse V5.0과 같은 Stable Diffusion 체크포인트를 선택하세요.

  • 필수 LoRA: AnimateLCM_sd15_t2v_lora @ 강도 0.5 - 1.0

  • 선택적 LoRA: 특정 기능을 강화하고자 하는 LoRA 모델을 추가하세요.

  • VAE, 시드, 프롬프트: 이미지 품질을 위한 VAE를 설정하고 일관성을 위해 시드를 선택하세요.

  • 추가 제어용 모델: 디테일러 노드에서 사용되는 CLIP Vision 및 SAM 모델을 선택하세요.프롬프트 작성:

  • 간단한 것이 더 좋습니다. 프롬프트 여행을 사용하여 특정 애니메이션 프레임에서 프롬프트를 변경할 수 있습니다.

  • 입력 이미지 준비:

    • 크기 조정 및 조정: 애니메이션의 기반이 되는 입력 이미지를 업로드하세요. IPAdapter 및 SparseCtrl 컨트롤 네트워크와 호환되도록 크기를 조정하세요.

    • 품질 확인: 이미지 차원을 최적화하면 IPAdapter 및 SparseCtrl이 더 효과적으로 처리하여 부드러운 애니메이션을 생성할 수 있습니다.

      (팁: 전체 워크플로우를 대기하기 전에 이미지 리사이징 및 크롭 조정을 확인하려면 오른쪽 클릭 후 "queue group output nodes (rgthree)"를 사용하세요.

  • AnimateDiff 구성:

    • AnimateDiff 모델: 부드러운 움직임을 위해 설계된 AnimateDiff LCM 모델을 로드하세요.

    • 스케줄러 및 루프 설정: 프레임 변화를 제어하기 위해 베타 스케줄러를 사용하고, 연속 애니메이션을 위해 루프를 활성화하세요. (모델은 context_length 16과 context_overlap 4로 학습되었습니다. 조정할 수 있으나 결과는 달라질 수 있습니다). closed_loop 옵션을 통해 루프 여부를 선택하세요.

  • 컨트롤 네트워크 구성:

    • 컨트롤 네트워크 강도 조정: SparseCtrl 및 QRcode Monster 컨트롤 네트워크는 기본 설정으로 잘 작동하지만, 강도를 조정하면 애니메이션 움직임을 미세 조정할 수 있습니다.

    • 선택적 사용자 정의: 애니메이션 스타일에 더 큰 영향을 주고자 한다면 컨트롤 네트워크 매개변수를 실험하여 원하는 효과에 맞춰보세요.

애니메이션 품질 개선을 위한 처리 단계

  1. 초기 거친 샘플링:

    • 이 단계는 움직임을 확립하기 위한 거친 애니메이션 페이스를 생성합니다. 처음에는 끊김이 있을 수 있으나, 후속 개선을 위한 기반 단계입니다.

  2. 잠재 공간 업스케일 및 재샘플링 (Highres Fix):

    • 이미지 품질을 향상시키기 위해 고해상도 보정을 적용하세요. 이 잠재 공간 업스케일은 아티팩트를 줄이고 투명도를 향상시키며, 특히 저 VRAM 환경에서 생성된 애니메이션에 유용합니다.

  3. 얼굴 및 눈 디테일링:

    • 클로즈업 애니메이션에서 흔한 아티팩트를 줄이기 위해 얼굴 및 눈 디테일러를 사용하세요. 이 선택적 단계는 얼굴 디테일을 개선하여 부드럽고 자연스러운 애니메이션을 생성할 수 있습니다.

    • VRAM 제한이 있다면 처리 속도를 최적화하기 위해 이 단계를 건너뛰는 것을 고려하세요.

  4. 최종 업스케일 및 30 FPS 보간:

    • 최종 업스케일 단계에서는 4x NMKD Siax 업스케일러 모델을 사용하여 해상도를 향상시킵니다.

    • 30 FPS 보간: 이 최종 단계는 프레임을 보간하여 움직임을 부드럽게 하며, 30프레임/초의 매끄러운 애니메이션을 제공합니다.

팁 및 권장 사항

  • 설정 실험: 체크포인트 모델, 이미지 크기, 컨트롤 네트워크 강도, IPAdapter 설정을 조정하면 애니메이션 품질에 큰 영향을 미칠 수 있습니다.

  • VRAM 제한 대응: 이 워크플로우는 낮은 VRAM 시스템에서도 잘 작동합니다. 메모리 문제가 발생하면 얼굴 디테일러 단계를 생략하거나 이미지 해상도를 줄여 단순화해 보세요.

  • 커스텀 노드: 이 설정은 ComfyUI 관리자에서 MTB, Efficiency, AnimateDiff, RIFE, Face Detailer 등 여러 커스텀 노드를 사용합니다. 모든 커스텀 노드가 설치되고 최신 상태인지 확인하세요.

마무리 메모

이 SparseCtrl 애니메이션 워크플로우는 강력한 움직임, 품질 및 디테일 도구를 결합해 표현력 있는 애니메이션을 쉽게 생성할 수 있는 방법을 제공합니다. Stable Diffusion 애니메이션에 익숙하지 않더라도, 이 가이드는 튼튼한 출발점을 제공합니다.

실험을 즐기고, 피드백이나 문제 해결 질문을 망설이지 마세요.

이 페이지에 이미지를 게시해 주시면 화제를 끌어주셔서 감사합니다 ⚡⚡⚡😊

이 모델로 만든 이미지

이미지를 찾을 수 없습니다.