Wan2.2 V2V VACE One-Click 'Seamless' Workflow Loop, Preserving Subject

"내 손바닥에 있는 진동 물리의 힘"

- 닥터 옥토퍼스나 그와 비슷한 사람

이것은 Wan2.2에서 설계된 VACE V2V 워크플로우로, 제공한 참조 이미지 기반의 대상을 선택하여 제공한 참조 비디오 내의 대상을 교체합니다. 즉, 이미지 내의 대상이 비디오 내의 대상과 동일한 동작을 수행하게 됩니다.

V2: 참고 사항 - 중요!!

일부 종료음(침묵)을 생성할 수 있는 충돌 없는 노드를 찾지 못했습니다. 제가 발견하거나 사용할 수 있었던 출력 제한으로 인해, 이 상황을 위해 자체 사용자 정의 노드를 작성해야 했습니다. 이 워크플로우 다운로드 내에 사용자 정의 노드가 포함되어 있습니다. "Silence Generator" 폴더를 가져와 ComfyUI의 "custom node" 폴더로 이동하세요. ComfyUI를 재시작하면 문제없이 작동합니다.

1초의 침묵을 생성할 수 있는 노드를 알고 계신다면, 해당 노드로 이 사용자 정의 노드를 대체할 수 있습니다(그리고 알려주세요!).

제가 지속적으로 발견한 몇 가지 특이 사항을 여기에 업데이트하겠습니다. 실제로 버그는 아니지만, 문제 해결에 도움이 되는 요소들입니다:

• 문제: "LayerUtility: Purge VRAM V2가 LayerStyle 노드팩이 최신임에도 불구하고 찾을 수 없습니다."
  해결책: 여기에서 직접 custom_nodes 디렉터리에 클론하세요: https://github.com/chflame163/ComfyUI_LayerStyle
  원인: ComfyUI 레지스트리가 잘못된 버전을 캐싱했을 가능성이 있습니다.

• 문제: "제 VRAM이 부족하고, 모델이 제 기계에 너무 큽니다. 느리거나 OOM 발생."
  해결책: GGUF 버전을 사용하세요. 별도의 로더가 필요할 수 있습니다. 로더 뒤의 set 노드 입력에 모델 출력을 연결하면 잘 작동합니다. 여전히 혼란스럽고 구글 검색으로 도움이 안 된다면 알려주세요. 가이드를 드리겠습니다.
  원인: 저는 H100 VM에서 이 워크플로우를 개발했습니다.

• 문제: "InspyrenetRembgAdvanced에서 워크플로우를 실행할 때 numpy 오류가 발생합니다."
  해결책: 저는 이 오류를 때때로 보아왔습니다. 이 노드가 정말 마음에 들지 않아 곧 대체할 방법을 찾을 예정입니다. 지금은 워크플로우를 다시 실행하면 오류를 무시합니다.
  원인: 노드가 불안정합니다.

간단히 설명하면 다음과 같이 작동합니다:

1. 이미지 참조, 비디오 참조, 크기, VACE 모델, 반복 수, 각 반복당 처리 프레임, 중첩 프레임 및 기타 매개변수를 입력합니다.

2. 비디오 반복 조각에 대해 엣지 감지, 포즈, 그리고 일부 고급 마스킹(옵션)을 실행합니다. 비디오의 비율과 맞지 않는 경우 이미지를 패딩합니다.

3. 비디오/참조 이미지 등에 대해 VACE 처리를 실행합니다.

4. VACE 출력에서 사용자가 지정한 중첩 프레임을 회색 프레임으로 교체합니다.

만약 0번째 인덱스(첫 번째 반복)라면, 배치를 수행하고 다음 반복으로 이동합니다. 그렇지 않으면...

5. 흑백 마스킹 트릭을 사용하여 별도의 VACE 워크플로우에서 전환 프레임을 처리합니다(하지만 별도의 워크플로우가 아닌 동일한 워크플로우 내에서).

6. 이전 단계 4에서 삽입된 회색 프레임은 단계 5에서 처리된 프레임으로 교체됩니다.

7. 반복의 마지막 프레임은 워크플로우의 시작점으로 다시 보내지고, 그 프레임 내의 대상은 마스킹 처리됩니다. 그 후 원래 참조 이미지의 캐릭터가 위에 오버레이됩니다. (이것은 각 반복에서 발생하는 일반적인 '조리된' 외관을 방지하고, 다른 워크플로우에서 흔히 보이는 '마지막 프레임을 참조로 전송'하는 방식과의 차이를 확보하는 데 중요합니다.)

8. 단계 2에서 6까지의 과정이 지정된 반복 횟수에 도달할 때까지 반복됩니다.

9. 전체 비디오에서 가장 첫 번째 회색 프레임을 잘라냅니다.

결과는?

VACE로 처리된 전환을 통해 거의 매끄러운 비디오를 얻게 될 것입니다. 대상은 왜곡되지 않아야 합니다. 높은 반복에서는 배경이 약간 조리된 듯한 느낌을 받을 수 있습니다.

이 워크플로우의 의도는, 곳곳에 있는 복잡한 수학 및 조건 노드들이 어쩌면 이상해 보일 수 있지만, 사용이 매우 간단하도록 설계된 것입니다.

이상: 저는 H100에서 이 워크플로우를 실행하고 있습니다. GPU가 진짜 100% 앵거스 비프 파워를 지녔고 감자 PC가 아니라면, 속도를 높이기 위해 거의 확실히 확산 모델/텍스트 인코더 등을 변경해야 합니다. 저는 품질을 우선시하고 속도는 그 다음으로 생각합니다.

향후 개선 가능 지점:

• Canny 통합...

• ...그리고/또는 마스크 제거 시 입 모양 유지 - 중간 우선순위

• 포즈 블렌드를 더 잘 이해하여 최종 비디오에 객체로 나타나지 않도록 더 많은 포즈를 통합할 수 있도록 합니다. (색상? 블렌드 유형? 조사 필요) - 중간 우선순위

• ̶음̶성̶ -̶ ̶최̶고̶ 우̶선̶순̶위̶,̶ ̶곧̶ 출̶시̶ 예̶정̶.̶ ̶싱̶크̶를̶ 맞̶추̶는̶ 것̶을̶ 고̶민̶ 중̶.̶ - 완료

• 배경 옵션: 사용자가 VOD 배경, 이미지 배경, 또는 새로운 T2V 스타일의 배경을 선택할 수 있도록 함 - 낮은 우선순위

• 초기 이미지에서 첫 번째 생성물까지 배경 일관성 유지 (컨트롤 비디오에 마스킹이 필요할 수 있음) - 중간 우선순위

• ̶보̶간̶ 단̶계̶,̶ ̶가̶능̶성̶ 있̶는̶ 업̶스̶케̶일̶ -̶ ̶중̶간̶ 우̶선̶순̶위̶,̶ ̶하̶기̶ 쉬̶우̶나̶,̶ ̶품̶질̶/̶속̶도̶를̶ 최̶적̶화̶하̶는̶ 최̶적̶의̶ 방̶법̶을̶ 찾̶고̶ 있̶음̶ - 완료

• 사용자가 지정한 반복에서 다른 이미지 참조를 선택적으로 사용 가능하게 함. 다양한 재미있는 가능성을 추가할 수 있음. - 낮은 우선순위

• 폐기된 resize image v1을 v2로 교체 - 중간 우선순위, 진행 중

• 버그 수정 - 버그에 따라 중간 우선순위

개인적인 메모:

이 워크플로우는 “좋은 소스 비디오가 있는데, 르네상스 마스크가 마음에 들지 않아 인물을 교체하고 싶다”는 생각에서 시작되었습니다. 그 후, 프로세스를 반복하자는 생각이 들었고, “그런데 중첩부분에서 완전히 매끄럽게 만들면 어떨까?” 하고 생각하며 FL2V 단계를 전체적으로 구현했습니다. 그러나 그것도 완전히 매끄럽지 않았고, 색상 차이와 점프 현상이 있었습니다. 그 후, CivitAI에서 몇 가지 ‘매끄러운’ 워크플로우를 발견했습니다. 재미있었지만, 거의 별도의 워크플로우에서 파일 경로 등을 사용하고 있었습니다. 저는 하나의 버튼만 클릭해서 전체 비디오를 처리하고 싶었기 때문에 이 워크플로우를 계속 개선해왔습니다. 여전히 완벽하지는 않습니다. 제가 원하는 완전히 1:1 교체는 제공하지 않지만, 지금까지의 기능은 꽤 멋진 것 같습니다. 앞으로는 모든 부분을 미세 조정하고, 가장자리 케이스를 해결하며, 몇 가지 추가 기능을 도입할 계획입니다.