Partially Animate an Image
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
이 워크플로우는 SD1.5를 사용하여 이미지를 생성한 후, Grounding Dino를 이용해 이미지의 특정 부분을 마스크로 처리하여 AnimateLCM으로 애니메이션을 적용합니다. 16프레임을 애니메이션화하고 루핑 컨텍스트 옵션을 사용하여 반복 재생 가능한 비디오를 생성합니다. 비디오 생성 시 KSampler의 denoise 값을 0.8로 설정하여 원래 이미지의 일부 구조를 유지합니다.
기반: https://comfyworkflows.com/workflows/14d8d52b-1297-4d58-8469-2bdab4f5ebf1
필요한 모델:
선호하는 SD1.5 체크포인트
AnimateLCM 및 LORA (https://huggingface.co/wangfuyun/AnimateLCM): LORA는 models/loras에, 모델은 models/animatediff_models에 저장하세요.
SAM 모델 (Manager > Install Models, "SAM" 검색): sam_vit_b_01ec64.pth
Grounding Dino 모델 (자동으로 다운로드됨)
선호하는 업스케일 모델 (Manager > Install Models, "upscale" 검색): 4x_NMKD-Siax_200k.pth
지침:
청록색 노드는 이 워크플로우에 필요한 모델입니다.
파란색 노드는 사용자 입력이 필요한 부분입니다. 이 워크플로우에는 총 3개의 프롬프트가 필요합니다.
a) 이미지 생성 프롬프트: 전체 이미지에서 원하는 요소를 설명하세요. 예: "산, 강, 구름"
b) GroundingDino 프롬프트: 애니메이션화할 이미지 내의 객체를 설명하세요. 예: "강"
c) 비디오 프롬프트: 애니메이션화된 객체가 수행할 동작을 설명하세요. 예: "흐르는 강"VRAM이 부족한 경우, "Upscale Image (Using Model)" 노드를 비활성화할 수 있습니다. 이 경우 KSampler의 입력 해상도는 256 x 256 x 16 프레임으로 줄어듭니다. 이 방식으로 작동한다면, "Upscale Image By" 노드도 생략하여 해상도를 512 x 512 x 16 프레임으로 증가시킬 수 있습니다. 모든 노드를 생략하지 않고 원래 워크플로우를 실행하면 1024 x 1024 x 16 프레임의 비디오가 생성됩니다. 낮은 VRAM을 가진 GPU에서 테스트를 도와준 mojoflojo에게 감사드립니다.