ComfyUI Wan VACE 비디오 결합기 - 경량 버전

Github

이 워크플로우는 Wan VACE를 사용하여 비디오 클립 간의 부자연스러운 움직임 전환을 부드럽게 처리합니다. 클립의 시작 또는 끝 부분에 잡음이 있는 프레임이 있다면, 이 기술을 사용하여 이를 제거할 수도 있습니다.

기능

이것은 VACE를 사용하여 두 비디오를 빠르고 간단하게 결합하기 위한 경량(거의) 맞춤 노드가 없는 ComfyUI 워크플로우입니다. 임시 파일이나 루프, 일괄 처리 카운터가 필요 없습니다. 비디오를 로드하고 실행 버튼만 누르면 됩니다.

대량의 클립을 자동으로 결합하거나 색상/밝기 아티팩트를 완화하고 최적화 옵션을 사용하려면, 대신 전체 워크플로우를 사용하세요.

종속성

이 워크플로우를 실행하려면 내 ComfyUI-Wan-VACE-Prep 맞춤 노드가 필요합니다. 이 노드는 복잡한 스파게티 워크플로우 수학을 대체하여 이 경량 버전을 가능하게 합니다.

ComfyUI Manager에서 _Wan VACE Prep_를 검색하거나 워크플로우를 로드한 후 Manager의 누락됨 탭을 방문하세요.

이 맞춤 노드는 의존성이 전혀 없는 매우 가벼운 노드이므로, 시스템에 문제가 생길 가능성은 거의 없습니다(만약 그런 점이 걱정된다면).

이 워크플로우와 맞춤 노드는 Nodes 2.0 UI에서 테스트하지 않았습니다.

설정 및 모델

이 워크플로우를 실행하려면 다음 모델 중 일부 조합이 필요합니다. 이미 언급했듯이, 올바르게 설정하지 않으면 이 워크플로우는 시스템에서 제대로 작동하지 않습니다. 아마도 이미 시스템에서 잘 작동하는 Wan 비디오 생성 워크플로우를 가지고 있을 것입니다. 이 워크플로우를 생성 워크플로우와 유사하게 구성해야 합니다. Sampler 서브그래프에는 KSampler 노드와 모델 로딩 노드가 포함되어 있습니다. 이 노드들을 원하는 대로 조정하여 자신에게 가장 자연스럽게 느껴지는 설정을 찾아보세요. 시스템이 지원한다면 sageattention 및 torch compile 노드를 활성화하세요. 핵심은 모든 서브그래프 입력/출력이 올바르게 데이터를 전달하고 설정하는지, 그리고 특히 로드한 확산 모델이 Wan2.2 Fun VACE 또는 Wan2.1 VACE 중 하나인지 확인하는 것입니다. GGUF 파일은 잘 작동하지만, VACE가 아닌 모델은 작동하지 않습니다.

• Wan 2.2 Fun VACE

  • bf16 및 fp8

  • GGUF

• Wan 2.1 VACE

  • fp16

  • GGUF

• Kijai가 추출한 Fun Vace 2.2 모듈(표준 T2V 모델과 함께 로드용). 네이티브 사용 예시.

  • bf16

  • GGUF

문제 해결

• tensor a의 크기가 non-singleton 차원 1에서 tensor b의 크기와 일치해야 합니다 - 입력 비디오의 모든 차원이 16으로 나누어 떨어지는지 확인하고, 그렇지 않으면 조정하세요. 흥미로운 사실: 1080은 16으로 나누어 떨어지지 않습니다!

• 밝기/색상 변화 - VACE는 생성된 클립의 밝기나 채도에 영향을 줄 수 있습니다. 이 경향을 피하는 방법은 저도 모르겠습니다. 불행히도 이는 모델 자체에 내재된 것으로 보입니다. lightx2v 속도 LoRA를 비활성화하면 도움이 될 수 있으며, 이 워크플로우에서 사용하는 LoRA 및 강도가 클립 생성 시 사용한 것과 정확히 동일한지 확인하세요. 일부 사용자는 이 워크플로우의 출력 직전에 색상 매칭 노드를 사용하여 성공했다고 보고했습니다. 그러나 구체적인 해결책은 경우에 따라 다를 수 있습니다. 제가 발견한 가장 일관된 완화 방법은 이 워크플로우 사용 후 프레임 속도를 30 또는 60fps로 보간하는 것입니다. 보간은 색상 변화를 시각적으로 덜 눈에 띄게 만듭니다. 변화는 여전히 존재하지만, 16프레임이 아니라 60프레임에 분산되기 때문에 우리의 눈에는 갑작스러운 변화로 보이지 않습니다.

• 프레임 속도 관련 - Wan 모델은 16fps로 학습되었으므로, 입력 비디오의 프레임 속도가 더 높다면 최적의 결과를 얻지 못할 수 있습니다. 적어도 VACE와 동일한 효과를 얻으려면 컨텍스트 및 교체 프레임 수를 16fps를 초과하는 비율만큼 증가시켜야 합니다. 이 워크플로우를 사용하기 전에 입력을 16fps로 강제로 낮추고, 이후 원하는 프레임 속도로 다시 보간하는 것을 추천합니다.

• 워크플로우가 작동하지 않는 경우 ComfyUI를 업데이트하고 다시 시도하세요. ComfyUI를 업데이트할 의사가 없다면 도움을 드릴 수 없습니다. 우리는 동일한 시작점을 기반으로 작업해야 합니다.

• GitHub에 이슈를 열어주세요. 이는 저와 가장 직접적으로 소통하는 방법입니다. 시작을 돕고 싶다면, 실패한 실행의 전체 콘솔 로그를 이슈에 붙여넣으세요.

변경 사항

• v1.0.3 이미지 일괄 처리 노드 수정

  • 정확히 어떤 순서로 발생했는지는 잘 모르겠지만, ComfyUI를 0.7.0으로 업데이트한 이후 Batch Images 노드가 이전의 정적 상태로 돌아왔습니다. 이 워크플로우를 출시할 때 있었던 동적 동작은 사라졌습니다. 이전에 해당 노드의 맞춤 버전을 실수로 사용한 적은 없었을 것 같지만, 이것이 가장 가능성이 높은 설명입니다. 어쨌든, 이제 Prompt outputs failed validation: BatchImagesNode: - Required input is missing: image1 메시지가 더 이상 발생하지 않기를 바랍니다.

• v1.0.2 핵심 맞춤 노드 변경

  • 처음 사용했던 VACE 노드는 충분히 유연하지 않았기 때문에, 제가 개발한 맞춤 노드로 전환했습니다.

• v1.0.0 최초 릴리즈