Wan VACE Clip Extender
세부 정보
파일 다운로드
모델 설명
ComfyUI Wan VACE 비디오 확장기
이 워크플로우는 지정된 비디오 지점에서 새로운 프레임을 생성하기 위해 Wan VACE를 사용합니다.
기능
이것은 가볍고 (거의) 사용자 정의 노드가 없는 ComfyUI 워크플로우로, 최소한의 설정으로 Wan VACE를 사용해 비디오를 빠르게 확장하는 데 목적이 있습니다. 비디오를 로드하고, 확장 시작 지점을 지정하며, 생성할 새로운 프레임 수를 입력하기만 하면 됩니다.
종속성
이 워크플로우를 실행하려면 내 ComfyUI-Wan-VACE-Prep 사용자 정의 노드 패키지가 필요합니다. 이 패키지는 복잡한 스파게티 워크플로우 수학을 대체하여 이 가벼운 워크플로우 버전을 가능하게 합니다.
ComfyUI Manager에서 _Wan VACE Prep_을 검색하거나 워크플로우를 로드한 후 Manager의 Missing 탭을 방문하세요.
이 패키지는 의존성이 전혀 없어 매우 가볍기 때문에, 시스템에 문제가 생길 가능성은 거의 없습니다(만약 그런 걱정이 있다면요).
이 워크플로우와 사용자 정의 노드는 Nodes 2.0 UI에서 테스트하지 않았습니다.
구성 및 모델
이 워크플로우를 실행하려면 아래 모델 중 일부 조합이 필요합니다. 이미 언급했듯이, 올바르게 설정하지 않으면 이 워크플로우는 시스템에서 제대로 작동하지 않습니다. 아마도 이미 시스템에서 잘 작동하는 Wan 비디오 생성 워크플로우를 가지고 있을 것입니다. 이 워크플로우를 생성 워크플로우와 유사하게 구성해야 합니다. Sampler 서브그래프에는 KSampler 노드와 모델 로딩 노드가 포함되어 있습니다. 이 노드들을 원하는 대로 조정하여 자신에게 맞는 설정을 찾아보세요. 시스템이 지원한다면 sageattention 및 torch compile 노드를 활성화하세요. 모든 서브그래프 입력과 출력이 정확히 데이터를 받고 설정하는지 확인하세요. 특히 로드하는 확산 모델이 Wan2.2 Fun VACE 또는 Wan2.1 VACE 중 하나여야 합니다. GGUF는 잘 작동하지만, VACE가 아닌 모델은 작동하지 않습니다.
Wan 2.2 Fun VACE
Wan 2.1 VACE
Kijai가 추출한 Fun Vace 2.2 모듈로, 표준 T2V 모델과 함께 로드할 수 있습니다. 네이티브 사용 예시.
문제 해결
tensor a의 크기가 non-singleton 차원 1에서 tensor b의 크기와 일치해야 합니다 - 입력 비디오의 모든 차원이 16으로 나누어떨어지는지 확인하고, 그렇지 않으면 조정하세요. 재미있는 사실: 1080은 16으로 나누어떨어지지 않습니다!
밝기/색상 변화 - VACE는 생성하는 클립의 밝기나 채도에 영향을 줄 수 있습니다. 이 경향을 피할 방법은 저도 모르며, 불행히도 이는 모델에 내재된 특성인 것 같습니다. lightx2v 속도 LoRA를 비활성화하면 도움이 될 수 있으며, 이 워크플로우에서 사용하는 LoRA와 강도가 클립 생성 시 사용한 것과 정확히 동일한지 확인하세요. 일부 사용자는 이 워크플로우의 출력 전에 색상 매칭 노드를 사용해 성공했다고 보고했습니다. 그러나 구체적인 해결책은 사례마다 다를 수 있습니다. 제가 찾은 가장 일관된 완화 방법은 이 워크플로우 사용 후 프레임 속도를 30 또는 60fps로 보간하는 것입니다. 보간은 색상 변화를 눈에 덜 띄게 만듭니다. 변화는 여전히 존재하지만, 16프레임 대신 60프레임에 분산되어 있어 우리 눈에는 갑작스러운 변화처럼 보이지 않습니다.
프레임 속도 관련 - Wan 모델은 16fps로 학습되었으므로, 입력 비디오의 프레임 속도가 더 높다면 최적의 결과를 얻지 못할 수 있습니다. 적어도 VACE와 동일한 효과를 얻으려면, 입력 프레임 속도가 16fps보다 높은 비율만큼 컨텍스트 프레임과 교체 프레임 수를 증가시켜야 합니다. 이 워크플로우를 사용하기 전에 입력을 16fps로 강제하고, 이후 원하는 프레임 속도로 다시 보간하는 것을 추천합니다.
워크플로우가 작동하지 않는 경우, ComfyUI를 업데이트하고 다시 시도하세요. ComfyUI를 업데이트할 의향이 없다면 도와드릴 수 없습니다. 우리는 동일한 시작점에서 작업해야 합니다.
GitHub에 이슈를 열어주세요. 이 방법이 저와 가장 직접적으로 소통하는 길입니다. 빠른 시작을 원한다면, 실패한 실행의 전체 콘솔 로그를 이슈에 붙여넣으세요.
변경 사항
- v1.0.0 최초 릴리즈.