나처럼 N00b인가요?

이 모든 워크플로우는 끔찍할 정도로 복잡해 보이죠? 어떤 괴짜 스위치를 돌려야 하는 거죠? 왜 갑자기 내 모든 게 다 망가진 걸까요?

저는 Coyotte의 Moviemaker를 몇 날 몇 밤 동안 테스트해봤습니다. 훌륭한 워크플로우고, 사용해보면 재미있지만(제보다 똑똑하다면요) – 그래서 제가 정말로 이걸 훨씬 더 단순하게 만들어야겠다고 결심했습니다. 어쩌면 당신도 도움을 받을 수 있을 거예요.

워크플로우 작동 방식:
시작 이미지와 프롬프트를 입력하세요. 초록색 박스만 찾으면 됩니다.

조정할 수 있는 몇 가지 요소가 있지만, 보라색(제겐 분홍색처럼 보이지만 아무튼)으로 표시된 부분은 자신이 뭘 하는지 안다고 확신할 때만 건드려야 합니다. 검정색 박스는 모델 로드용이며, 전문가가 처리하는 게 가장 좋습니다. 빨간색 박스는 절대 건드리지 마세요. 다 망가집니다.

이 워크플로우는 JoyCaption을 사용해 이미지를 분석하고, 커뮤니티 프롬프트의 첫 부분을 생성하고, LoraManager를 사용해 LoRA의 트리거 단어를 불러와 프롬프트를 통합합니다. 샘플러에 마법 같은 처리를 하죠(저도 초보고, 당신도 초보니까, 이게 어떻게 작동하는지 아무도 몰라서 그냥 마법이라고 부릅니다), 그리고 그 결과를 '작업 중' 비디오로 내려줍니다. 이 부분을 주의 깊게 확인하세요. 결과가 마음에 안 들면, GPU 시간을 낭비해서 업스케일링하거나 사운드를 추가하지 마세요.

그게 전부입니다. 이 워크플로우는 당신을 위해 몇 개의 비디오를 생성해줄 것이고, 그걸 즐기면 됩니다.

5090(제가 가지고 있는 카드라서 다른 건 테스트하지 않았습니다)에서는 10초 길이의 비순환 사운드 비디오를 생성하는 데 30분이 걸립니다. 이 정도는 이 워크플로우가 수행하는 모든 작업을 고려하면 나쁘지 않은 편이죠.

VRAM이 적은 카드를 사용한다면, JoyCaption 설정을 극도로 낮추는 것을 추천합니다. 하단 오른쪽의 "String Ops" 섹션에서 언핀하고 확장해야 합니다. VRAM이 24GB 미만이라면 3~4초 이내로 생각하세요.

설치 방법:

Comfy-UI 초보라면, ComfyUI Manager를 설치하세요. 어떻게 설치하는지 가르쳐주지 않겠습니다. 그건 구글이 하는 일입니다. 설치 후 이 워크플로우를 열고, Comfy-UI Manager를 열어 "Install Missing Nodes"를 선택하세요. 그러면 자동으로 설치되고, ComfyUI Manager 내에서 Comfy-UI를 재시작해야 합니다. 그 후 페이지를 새로고침하고, 다시 Manager를 열어 Model Manager로 이동하세요. 필터를 "In Workflow"로 변경하고, 모든 모델을 설치하세요. 이 작업은 오래 걸릴 수 있습니다. 모델들이 엄청 큽니다.

이 과정에서 MMAudio 모델이 설치되지 않을 수도 있습니다. 그렇다면 다음 링크에서 다운로드하세요: https://huggingface.co/Kijai/MMAudio_safetensors/tree/main

다운로드한 모델을 다음 폴더에 넣으세요: ComfyUI/models/mmaudio

감사합니다, KIJAI!

Nvidia bigvganv2는 자동으로 다운로드되어야 하지만, 그렇지 않다면 다음에서 다운로드하세요: https://huggingface.co/nvidia/bigvgan_v2_44khz_128band_512x

Nvidia의 HuggingFace에서 내려받은 모든 파일을 다음 폴더에 넣으세요: ComfyUI/models/mmaudio/nvidia/bigvgan_v2_44khz_128band_512x

행운을 빕니다! 즐거운 영상 제작 되세요!

제 워크플로우가 별로라고 생각한다면, 상처 주지 마세요. 어떻게 개선할 수 있는지 알려주세요. 이건 저의 첫 번째 워크플로우입니다.

이 워크플로우가 마음에 들었다면, 멋지네요!