VACE FLF2V for Looping, Morphing and Whatnot

짧은 비디오를 생성하는 것의 가장 불편한 점은 무엇일까요? 맞습니다, 모든 것입니다. 너무 봐줄 수 없죠. VACE는 정말 훌륭합니다. 간격을 연결해주기에 최적입니다. 핑퐁 방식은 한계가 있습니다. 게다가 적절한 상황에서도 실제로 이를 사용하는 사람은 거의 없습니다.

시작 프레임을 선택하세요. 끝 프레임을 선택하세요. 버튼을 누르세요.

프레임으로 이미지를 사용할 수도 있고, 스위치를 전환해 기존 비디오의 시작/끝 프레임을 가져올 수도 있습니다. Florence 자동 프롬프트 그룹을 사용하면, 시작점 또는 끝점, 혹은 보간된 중간점에서 프롬프트를 생성할 수 있습니다. 후자는 이미지 간 차이가 너무 크면 흐릿한 혼란스러운 결과가 나오지만, 두 이미지가 비슷할 때는 유용합니다. 움직임과 속도에 대한 프롬프트는 별도의 박스에 추가할 수 있으며, 이는 Florence 출력과 연결됩니다(물론 Florence는 이를 제공하지 않기 때문입니다). 수동으로 프롬프트를 입력할 경우, 모든 내용을 일반 박스에 넣을 수 있습니다.

업스케일링, 보간, 얼굴 복원 그룹도 포함되어 있습니다.

각 그룹의 사용법에 대해 자세한 노트를 작성해두었습니다.

중요한 섹션에는 근처에 반드시 참고 노트가 있습니다. 약속합니다.

영상과 이미지 입력을 혼합하지 않는 한, 노드 연결을 끊을 필요가 없습니다. 의도한 출력을 위해 실제로 조정해야 하는 것은 LoRa의 가중치(모델/CLIP 가중치는 별도로 조정 가능)와 VACE 강도뿐입니다. 일반적인 순열의 지옥에 비하면 정말 편리하죠. 참고로, 이건 엄청 빠릅니다. Sage Attention이 도움이 되지만(사용이 두렵다면 비활성화해도 됩니다), 그것 없이도 여전히 엄청 빠릅니다. 704x1280 해상도로 61프레임 전환을 만드는 데 약 6분이 걸리며, 이는 14B 480p 모델로 정말 멋진 결과를 낼 수 있습니다. 이를 절반으로 줄이고 업스케일링할 수도 있지만, 품질은 훨씬 떨어집니다. 720p 모델의 품질 향상은 추가 시간만큼의 가치가 없어 보입니다. 아직은요.

자동화 측면에서 아직 구현할 것이 많지만, 부울 스위치를 더 늘리면 다른 사용자들이 혼동할 수 있어 이대로 공유하겠습니다. 자동 3~6프레임 크로스 디졸브를 시도해보고 싶습니다. 이는 여전히 발생하는 색상 문제를 완화하는 데 도움이 될 것입니다(지금은 이전보다 덜 심각하죠). 물론 체이닝도 가능하지만, 다른 WF에서 본 것들은 모두 매우 나빴고, 저는 그걸로 아무것도 성취하지 못했습니다. 기다려보죠.

이 워크플로우는 comfyui 템플릿에 있는 기본 VACE 소개를 바탕으로 합니다.

주요 모델은 연결되어 있으며, 나머지는 스스로 파악할 수 있습니다.

*원래 게시된 WF에는 reActor 그룹에 오류가 있었고, 이로 인해 조기 중단이 발생할 수 있었습니다. 이를 수정했습니다. 또한 프레임 선택기에는 머리로 계산할 필요 없이 슬라이더를 추가했습니다. 이 사용 사례에 적절하게 증가하도록 설정되어 있습니다. 두 번째 이미지 세트는 항상 n-2이며, 이는 여전히 내부에서 자동으로 처리됩니다.