Wan Join Clips

업데이트:

이 워크플로우와 함께 새로운 Lightx2v LoRA(https://huggingface.co/Kijai/WanVideo_comfy/blob/main/Wan21_T2V_14B_lightx2v_cfg_step_distill_lora_rank32.safetensors)를 사용할 때 매우 훌륭한 결과를 얻었습니다. 이 LoRA와 그 기원에 대해 자세히 알아보려면 여기를 참고하세요(/model/1585622/self-forcing-causvid-accvid-lora-massive-speed-up-for-wan21-made-by-kijai). 해당 설명에서는 이 새로운 도구를 사용하기 위해 복잡한 워크플로우가 필요하다고 제시하지만, 제 경험에 따르면 추가 노드 없이도 매우 잘 작동합니다. 사용 방법은 단 세 가지만 하면 됩니다:

1. 설정 영역의 제공된 LoRA 로더 노드에 LoRA를 추가하세요.

2. CFG 값을 1.0으로 변경하세요.

3. 스텝 값을 4에서 20 사이의 임의의 값으로 변경하세요. 저는 10스텝을 사용하고 있으며, 결과가 매우 훌륭했습니다.

이 LoRA를 사용해도 VRAM 사용량은 전혀 변하지 않았고, 비디오 생성 속도가 훨씬 빨라졌습니다. 너무 빨라서 전환 시간을 기존 3초에서 5초로 확장해 비디오에 완전히 5초의 새로운 콘텐츠를 포함시켜도 여전히 이전보다 훨씬 빠르게 결과를 얻을 수 있었습니다.

이 워크플로우는 Wan과 Vace를 사용하여 두 비디오 클립을 부드럽게 연결하고, 전환부 양쪽의 움직임을 자연스럽게 통합하는 전환 비디오를 생성합니다. 결과적으로 단순히 "마지막 프레임에서 비디오를 확장"할 때 발생하는 갑작스러운 움직임 변화 없이 실행되는 3부분 비디오가 생성됩니다.

이 워크플로우에 대한 중요한 공로는 pftq가 제작한 无缝 비디오 확장 워크플로우에 있습니다. 그 워크플로우가 이 기능의 존재를 처음으로 제게 보여주었고, 이 버전을 만들기 위한 기본 구조를 제공해 주었습니다. pftq의 워크플로우는 Kijai의 Wan Wrapper 노드를 사용하므로, 모든 옵션과 애드온을 활용하기 위해 Wrapper 노드를 선호하신다면 당연히 pftq의 워크플로우를 시도해 보세요. 이 워크플로우는 Wan 처리에 ComfyUI의 모든 네이티브 노드만 사용합니다.

이 워크플로우의 목표 중 하나는 가능한 한 자동화하는 것이었습니다. Vace가 간격을 채우도록 하기 위해선, 먼저 적절한 위치에 마스킹을 적용한 두 개의 커스텀 비디오를 만들어야 합니다. 이 작업은 훌륭한 편집 소프트웨어 없으면 매우 번거롭습니다. 그러나 간단한 확장 마스크는 ComfyUI가 몇 개의 커스텀 노드를 활용해 쉽게 수행할 수 있습니다. 이 워크플로우는 그 노력의 결과입니다.

워크플로우는 크게 보일 수 있지만, 모든 모델이 올바르게 로드되고 비디오 저장 경로를 원하는 대로 설정한 후에는 상단 왼쪽의 세 그룹만 사용하면 됩니다. 시작 및 종료 클립을 설정하고, 스텝 등 기타 값을 조정한 후 워크플로우를 실행하고 출력을 확인하세요. 마스킹, 리사이징, 프레임 보간/부드러움 처리는 모두 자동화되었습니다.

모든 장치가 노출되어 있으며, 지나치게 복잡한 노드 연결 없이도 이해하기 쉽게 구성했습니다. 원하시는 대로 자유롭게 수정해 보세요. 예를 들어 Model Sampling Shift 값과 같은 몇 가지 숨겨진 설정이 있어 조정하고 싶으실 수 있습니다.

저의 시스템에서는 여기 제공된 기본값을 사용할 때, 16GB VRAM을 가진 그래픽 카드가 공유 GPU 메모리를 사용하지 않고 블록 스와핑 없이도 이 워크플로우를 로드하고 실행할 수 있습니다. 일반적으로 안정적으로 약 14.2GB를 사용하며, 사용 환경에 따라 다를 수 있습니다.

즐겁게 사용하시길 바랍니다.