ComfyUI 워크플로우 - AnimateDiff 및 IPAdapter

이 ComfyUI AnimateDiff 및 IPAdapter 워크플로우를 RunComfy, ComfyUI 클라우드에서 쉽게 실행할 수 있습니다. RunComfy는 ComfyUI를 전용으로 설계된 플랫폼이며, 모든 핵심 노드와 모델이 미리 설정되어 즉시 사용할 수 있습니다!

또한 이 ComfyUI 온라인 서비스에는 다양한 훌륭한 워크플로우가 준비되어 있습니다.

이 ComfyUI 워크플로우는 AnimateDiff를 사용해 동적 조정을 하고, IP-Adapter를 통해 이미지 기반 프롬프트를 결합하여 애니메이션과 이미지의 스타일, 구도, 디테일 품질을 향상시킵니다.

AnimateDiff 소개

AnimateDiff는 Stable Diffusion 모델과 모션 기술을 사용해 정지 이미지와 텍스트를 애니메이션 영상으로 변환하는 AI 도구입니다. 코딩이나 특수 하드웨어 없이도 애니메이션 제작을 간소화하여 무료로 온라인에서 사용할 수 있습니다.

모델 버전

AnimateDiff는 AnimateDiff v1, v2, v3(Stable Diffusion V1.5용) 및 AnimateDiff sdxl(SDXL용)을 지원하여 복잡한 애니메이션에 다양한 모션 모델을 활용할 수 있습니다.

애니메이션 길이 커스터마이징

사용자는 컨텍스트 배치 크기를 조정하여 원하는 길이의 애니메이션을 생성할 수 있으며, 애니메이션 지속 시간과 전환에 유연성을 제공합니다.

전환 부드러움

Uniform Context Length 기능은 애니메이션 구간 간 부드러운 전환을 보장하여 장면 흐름을 사용자가 제어할 수 있도록 합니다.

모션 역학

AnimateDiff v2는 영화 같은 카메라 효과를 위한 모션 LoRAs를 도입하여 애니메이션에 역동적인 시각적 레이어를 추가합니다.

IP-Adapter 소개

IP-Adapter는 이미지 프롬프트를 텍스트-이미지 모델에 통합하여 텍스트만으로는 제한되는 이미지 생성을 텍스트와 시각적 입력을 결합해 간소화합니다.

v1.5 모델

• ip-adapter_sd15: 이미지 및 텍스트 보강을 위한 표준 모델.

• ip-adapter_sd15_light: 자원 소모가 적은 작업을 위한 효율적 버전.

• ip-adapter-plus_sd15: 참조 이미지의 정확도를 향상시킵니다.

• ip-adapter-plus-face_sd15: 정확한 얼굴 특징을 전문으로 합니다.

• ip-adapter-full-face_sd15: 세부적인 얼굴 교체에 초점을 맞춥니다.

• ip-adapter_sd15_vit-G: Vision Transformer BigG를 사용해 세부 특징을 추출합니다.

SDXL 모델

• ip-adapter_sdxl: 복잡한 프롬프트용 기본 모델.

• ip-adapter_sdxl_vit-h: SDXL 기능과 효율성을 균형 있게 조정합니다.

• ip-adapter-plus_sdxl_vit-h: 디테일과 품질을 향상시킵니다.

• ip-adapter-plus-face_sdxl_vit-h: 얼굴 디테일 정확도에 초점을 맞춥니다.

FaceID 모델

• FaceID: InsightFace를 사용해 얼굴 임베딩을 생성합니다.

• FaceID Plus: InsightFace 및 CLIP을 사용해 얼굴 특징을 강화합니다.

• FaceID Plus v2: 향상된 CLIP 통합을 통해 FaceID Plus를 업그레이드합니다.

• FaceID Portrait: 다양한 얼굴 이미지를 지원합니다.

SDXL FaceID 모델

• FaceID SDXL: FaceID를 SDXL용으로 최적화합니다.

• FaceID Plus v2 SDXL: 향상된 정확도로 고해상도 이미지를 제공합니다.