LTXV - Animating images that typically don't yield good results

이 튜토리얼에서는 LTXV를 사용하여 처음에는 좋은 결과를 내지 못하는 이미지를 애니메이션화하는 방법을 배우겠습니다.

사용하는 워크플로우는 다음 워크플로우를 사용자 정의하여 수정한 버전입니다:

https://github.com/sandner-art/ai-research/blob/main/LTXV-Video/ltxvideo_I2V-motionfix.json

이 접근 방식은 VoidVisionary가 다음 링크에서 제안한 블러 효과를 사용하여 결과를 개선하는 아이디어에서 영감을 받았습니다:

/model/1057138

ZIP 파일에는 워크플로우, 블러가 적용되지 않은 모나리자 .png 이미지, 블러가 적용된 모나리자 .png 이미지, 그리고 편집 내용이 포함된 .psd 아카이브가 포함되어 있습니다.

이 워크플로우는 SpacePXL이 생성한 수정된 VAE를 사용하며, 이는 다음 링크에서 확인할 수 있습니다:

https://huggingface.co/spacepxl/ltx-video-0.9-vae-finetune/tree/main

이 경우, 저는 ltx-video-v0.9-vae_finetune_all.safetensors를 사용하고 있으며, 이 파일을 ComfyUI의 models/VAE 폴더에 저장해야 합니다.

LTX에 사용되는 모델은 ltx-video-2b-v.0.9.1.safetensors이며, 이 파일을 ComfyUI의 models/checkpoints 폴더에 저장해야 합니다:

https://huggingface.co/Lightricks/LTX-Video/tree/main

사용되는 텍스트 인코더는 t5-v1_1-xxl-encoder-Q6_K.gguf입니다:

https://huggingface.co/city96/t5-v1_1-xxl-encoder-gguf/tree/main, 이 파일은 ComfyUI의 models/clip 폴더에 저장해야 합니다.

이 워크플로우는 다음 커스텀 노드를 사용합니다:

• https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite

• https://github.com/city96/ComfyUI-GGUF

• https://github.com/logtd/ComfyUI-LTXTricks

모든 설정이 완료되면, 모나리자의 초기 이미지를 로드합니다. 블러를 적용하지 않은 채 그대로 사용하여 렌더링하면 매우 제한적인 애니메이션이 생성됩니다. 애니메이션을 개선하기 위해 간단히 이미지 편집기를 사용하여 얼굴을 선택한 후 복사하여 다른 레이어에 붙여넣고, 약간의 수평 모션 블러를 적용합니다. 저는 얼굴을 스마트 오브젝트로 변환하고 수평 모션 블러 값 12를 적용한 Photoshop 파일을 제공했습니다. 또한 이미 블러가 적용된 모나리자 이미지도 함께 제공합니다.

이제 수정한 이미지를 ComfyUI에 복사하여 붙여넣으면 훨씬 더 부드럽고 자연스러운 애니메이션을 확인할 수 있습니다.

이 기술은 거의 모든 이미지에 적용할 수 있으며, 실험을 적극 권장합니다.