Animatediff 3 vid2vid Openpose

사용법

입력 영상을 로드합니다. 프롬프트, 크기 및 길이를 조정한 후 생성합니다.

설명

이 워크플로우는 Open Pose를 사용하여 입력 영상에서 인간의 움직임을 추출하는 비디오에서 비디오로의 프롬프트 전이 워크플로우입니다. 따라서 매우 특수한 목적을 가지고 있습니다. 이 워크플로우는 AnimateDiff 3와 함께 작동합니다. 다양한 키프레임에 대해 다른 프롬프트를 선택하면, 영상 내에서 프롬프트가 서로 점진적으로 변환됩니다.

이 워크플로우에서 사용되는 AnimateDiff와 Stable Diffusion 1.5는 512픽셀 크기로 학습되었습니다. 따라서 생성 크기를 이보다 훨씬 높게 설정하는 것은 권장되지 않으며, 결과가 일관되지 않게 될 수 있습니다. 대신, 생성 후 업스케일링을 시도할 수 있습니다.

이 워크플로우에는 업스케일링 기능이 포함되어 있습니다. 그러나 저는 별도의 워크플로우에서 두 번째 Ksampler를 사용하여 업스케일링하는 것을 권장합니다. 자세한 내용은 다음 기사를 참조하세요:

https://www.tomgoodnoise.de/index.php/video-upscaling-in-comfyui/

시간

6초 길이, 해상도 640×480인 예제는 16GB VRAM을 가진 4060 TI에서 약 25분이 소요되었습니다. 비교적 긴 생성 시간은 체인 내 두 번째 Ksampler 때문이며, 이는 생략할 수 있습니다. 그러나 이는 품질을 약간 향상시킵니다. 더 높은 업스케일링은 생성 시간을 더욱 증가시킵니다. 따라서 이 워크플로우는 가장 빠른 방법은 아닙니다.

요구 사항

이 워크플로우는 과거 8GB VRAM으로 생성되었습니다. 그러나 저는 자주 OOM(메모리 부족) 오류에 직면했습니다. 최소 12GB VRAM을 가진 카드를 사용하는 것을 강력히 권장합니다.