Video Style Transfer (AnimateLCM, IPAdapter, Controlnet)

이것은 사진에서 영상으로 스타일을 전이하는 vid2vid 워크플로우입니다.

이 워크플로우는 다음의 아이디어를 기반으로 합니다: /model/372584/ipivs-morph-img2vid-animatediff-lcm

필요한 모델

1. 선호하는 SD1.5 체크포인트. models/checkpoints 폴더에 넣으세요.

2. Controlnet. control_v11p_sd15_lineart_fp16.safetensors. 매니저를 사용하여 설치하고, "controlnet"으로 검색하세요.

3. AnimateLCM. https://huggingface.co/wangfuyun/AnimateLCM AnimateLCM_sd15_t2v_lora.safetensors를 다운로드하여 models/loras 폴더에 배치하세요. AnimateLCM_sd15_t2v.ckpt를 다운로드하여 models/animatediff_models 폴더에 배치하세요.

4. IPAdapter 모델. 옵션을 변경해도 작동하도록 필요한 것보다 더 많이 설치하도록 요청드립니다. 오류가 발생하면 누락된 정확한 모델을 설치해야 합니다.

   • CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors 및 CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors. 매니저를 사용하여 설치하고, "clip"으로 검색하세요.

   • ip-adapter_sd15.safetensors, ip-adapter_sd15_light.safetensors, ip-adapter_sd15_vit-G.safetensors, ip-adapter-plus_sd15.safetensors. 매니저를 사용하여 설치하고, "ipadapter"로 검색하세요.

워크플로우 사용 방법

1. 워크플로우를 불러오고, 매니저를 사용하여 누락된 커스텀 노드를 설치하세요. ComfyUI를 재시작하세요.

2. 청록색 노드는 로드해야 하는 모델입니다. 파란색 노드는 제공해야 하는 사용자 입력입니다.

3. 비디오를 로드 비디오 노드에 불러오세요. 비디오가 가로형이라면 force_size를 ?x512로 설정하세요. 워크플로우를 테스트하려면 frame_load_cap을 32로 설정하여 비디오의 처음 32프레임만 사용하세요. 전체 비디오를 사용하려면 frame_load_cap을 0으로 설정하세요.

4. 스타일을 전이할 4개의 이미지를 불러오세요.

5. CreateFadeMaskAdvance 노드에서 프레임을 편집하세요. 스타일을 적용하기 시작할 프레임과 적용을 마칠 프레임을 결정해야 합니다. 시작하기 전 프레임과 끝난 후 프레임에서는 마스크를 0으로 설정하고, 시작 및 종료 프레임은 1.0으로 설정하세요. 예를 들어, 90번째부터 135번째 프레임까지 스타일을 적용하고 싶다면 아래와 같이 설정해야 합니다: 89:(0.0), 90:(1.0), 135:(1.0), 136:(0.0)

6. 필요에 따라 프롬프트를 입력하세요.

7. 비디오에 따라 ControlNet을 조정하세요. 저는 예술적 이미지에서 스타일을 전이하고 싶었기 때문에 lineart를 사용했습니다.