🤡 저는 작업 흐름을 과도하게 복잡하게 만들기 쉽습니다. (이것을 고급 버전으로 간주하세요)
더 간단한 버전을 사용하려면 다음을 사용하세요:
참조 및 크레딧 :
🔗(NSFW) Dead-Simple MMAudio + RIFE 보간 설정 for WAN 2.2 I2V
😀SeoulSeeker(CivitAI)

🪁 저는 MMAudio를 실험하던 중 이 작업 흐름을 여기에 공유하기로 결정했습니다.

---

• 12/12/25 - ACE-Step (음악/노래 생성) 포함된 wf 추가

  • 비디오에서 오디오를 수정했습니다.

---

⚠️ 8개의 사용자 정의 노드 필요
⚠️ 서브그래프
⚠️ ComfyUI 데스크탑 버전에서만 테스트됨
✅ UI 중심 작업 흐름
✅ 비디오에서 오디오 업로드
✅ 파일에서 오디오 업로드
✅ 음악/소리 생성을 위한 2개의 MMAudio
✅ 볼륨 조절
✅ 업스케일러 및/또는 프레임 보간
✅ 워터마크/로고 (Video FPS 리샘플링 노드(White Rabbit)와 함께 제공되므로, 같이 사용하는 것이 좋습니다.)
✅ 압축된 작업 흐름
‼️ 사용자 정의 노드 ComfyUI-Swwan은 작업 흐름에 문제를 일으킬 수 있습니다. (이 노드는 작업 흐름의 일부 스위치와 충돌하므로 제거해 주세요)
‼️ "Node 2.0"을 비활성화하세요.

🎹 선택한 모든 옵션(비디오에서 오디오 업로드, 파일에서 오디오 업로드, MMAudio 1, MMAudio 2, ACE-Step)을 결합할 수 있습니다.

💡 보간되지 않은 비디오를 사용하는 것이 좋습니다. 더 빠릅니다. 하지만 어떤 프레임 속도의 보간된 비디오라도 사용할 수 있으며, 그 경우 속도가 느려질 수 있습니다.

⚠️ 비디오를 큰 해상도로 업스케일링하면 메모리 부족이 발생할 수 있습니다.
⚠️ 이 작업 흐름에서 비디오를 보간할 때, 혼동과 복잡성을 방지하기 위해 출력 프레임 속도가 고정됩니다. (프레임 속도 변경 = 지속 시간 변경 = MMAudio에 영향 미침)

💡 MMAudio보다 다른 오디오 파일에서 가져온 배경 음악(BGM)을 사용하는 것이 좋습니다.
(저는 ACE-Step을 사용하여 BGM을 생성합니다)
MMAudio는 비디오에 매우 민감하기 때문에 음악 생성에는 잘 작동하지 않습니다. 예를 들어, 비디오의 전환은 음악의 흐름을 끊을 수 있습니다. 때로는 이 끊김이 괜찮게 작동하거나, 미소 하나가 공포 영화의 소리를 만들어낼 수도 있습니다. 때로는 비트나 멜로디가 비디오의 행동에 맞춰 움직입니다.
가끔 MMAudio를 BGM으로 사용하기도 하지만, 여러 번 시도해야 합니다.

📼위에 게시된 비디오에는 내장된 작업 흐름이 포함되어 있습니다. (비디오를 다운로드한 후 ComfyUI로 드래그하세요)
ComfyUI-VideoHelpSuite 사용자 정의 노드가 필요합니다. ComfyUI에서 비디오에서 작업 흐름을 열 수 있습니다.

---

⌨️사용법:

1. 비디오를 "📲모델 로더 및 비디오 업로드" 서브그래프로 드래그 앤 드롭하세요.

2. 각 섹션 상단에서 원하는 옵션을 활성화하세요.

3. 🎼MMAudio에 대한 간단한 프롬프트를 작성하거나, 음악 파일 또는 비디오에서 오디오를 업로드하세요.

   • 3a. 🎼MMAudio에 대한 새 소리 생성을 위해 "🎲새 고정 랜덤"을 클릭하세요.

4. ▷실행

5. "🎥🎼비디오 결합"에서 비디오를 미리보세요.

6. 🎼MMAudio에서 새 소리를 원하면 **3a.**를 반복하고 ▷실행을 누르세요.

7. "🎞️프레임 보간", "📐업스케일러" 및/또는 ":💾출력 저장" 옵션을 선택하고 ▷실행하세요.

---

💿ComfyUI-MMAudio 설치

1. Git 클론

ComfyUI의 사용자 정의 노드 디렉토리로 이동하세요.
🗂️ ComfyUI\custom_nodes

Windows:
이 디렉토리에 ComfyUI-MMAudio를 클론하세요.
디렉토리에서 마우스 오른쪽 버튼을 클릭하고 "터미널 열기"를 선택하세요.
다음을 입력하세요:

git clone https://github.com/kijai/ComfyUI-MMAudio.git

2. 설치

데스크탑 버전용:
ComfyUI를 열고,
ComfyUI에서 "🧩Manager"를 클릭하세요.

"누락된 사용자 정의 노드 설치"를 클릭하세요.

ComfyUI-MMAudio 옆에서 "Try Fix"를 선택하세요.
ComfyUI를 재시작하세요.

포터블 버전용:
"python_embeded" 폴더로 이동하세요.
디렉토리에서 마우스 오른쪽 버튼을 클릭하고 "터미널 열기"를 선택하세요.
다음을 입력하세요:

python.exe -m pip install -r ComfyUI\custom_nodes\ComfyUI-MMAudio\requirements.txt

---

📥MMAudio 모델/파일 다운로드 링크

⚠️ "🗂️: ComfyUI/models/" 폴더 내에 "mmaudio"라는 폴더를 만들고 모든 파일을 여기에 넣으세요.

•  mmaudio_model (둘 다 또는 하나만 다운로드 가능합니다. 저는 원하는 오디오에 따라 둘 다 사용했습니다)

  • SFW 모델 (NSFW 콘텐츠에는 별로 좋지 않음)

  • NSFW 모델 (SFW 콘텐츠에는 별로 좋지 않음)

• vae_model

• synchformer_model

• clip_model

🗂️: ComfyUI/models/mmaudio

📐업스케일러 모델 다운로드 링크

📐2x 업스케일러 모델
🗂️: ComfyUI/models/upscale_models
(2x 업스케일러 모델 사용을 권장합니다. 4x 업스케일러 모델도 사용할 수 있지만, 업스케일링에 더 오래 걸릴 수 있습니다)

🎹ACE-Step 모델 다운로드 링크

작업 흐름을 로드할 때 ComfyUI가 누락된 모델을 알려줍니다. ComfyUI에서 직접 다운로드하거나 아래 링크를 사용하세요:
🎹 ace_step_v1_3.5b.safetensors
🗂️: ComfyUI/models/checkpoints

---

🗺️가이드

📲모델 로더 및 비디오 업로드

1. 🎥비디오에서 오디오

   • 업로드한 비디오의 오디오를 사용하려면 활성화하세요.

   • 업로드한 비디오만 사용하려면 비활성화하세요.

2. 📲모델 로더 및 비디오 업로드
   - 서브그래프로 비디오를 드래그 앤 드롭하여 비디오를 업로드하세요. 서브그래프 아래에 비디오 미리보기가 표시되며, 마우스를 비디오 미리보기 위에 올리면 오디오를 들을 수 있습니다(있을 경우).

3. 📐업스케일 모델 - 여기에서 업스케일 모델을 선택하세요.

4. MMAudio synchformer_model - mmaudio_synchformer_fp16.safetensors

5. MMAudio vae_model - mmaudio_vae_44k_fp16.safetensors

6. MMAudio clip_model - apple_DFN5B-CLIP-ViT-H-14-384_fp16.safetensors

7. 업로드할 비디오 선택 - 여기를 클릭하여 비디오를 선택할 창을 열거나, 서브그래프로 비디오를 직접 드래그 앤 드롭할 수 있습니다.

8. 볼륨 (⚠️이 노드의 미리보기는 조정된 볼륨을 미리보지 않습니다)
   - 비디오 오디오의 볼륨을 설정하세요. (소수점으로)
   - 1 = 기본값
   - 음수 = 볼륨 감소 (예: -6)
   - 1보다 크면 = 볼륨 증가

📤폴더에서 오디오 로드

⚠️오디오/비디오 파일을 업로드하려면 "업로드할 파일 선택"을 클릭해야 합니다.
오디오가 있는 비디오를 업로드하려면 (비디오에서 오디오만 로드) 또는 mp3 파일을 업로드하려면 "모든 파일(*.*)"을 선택하세요.

1. 📤폴더에서 오디오 로드

   • 폴더에서 오디오 파일을 사용하려면 활성화하세요.

2. 📤오디오 로드

   • 업로드할 파일 선택 - 오디오 파일 또는 오디오가 있는 비디오를 업로드하려면 여기를 클릭하세요.

   • 오디오 미리보기(상단) - 오디오 파일을 업로드한 후에만 나타납니다. 업로드된 오디오의 전체 길이를 미리보세요.

   • 오디오 시작 - 오디오를 시작할 초를 입력하세요.
     0 = 시작점에서부터
     예를 들어 6.50으로 설정하면 오디오의 6.5초 이전 부분이 잘립니다.
     끝은 비디오의 지속 시간에 따라 잘립니다.

   • 볼륨 - 비디오 오디오의 볼륨을 설정하세요 (소수점으로)
     1 = 기본값,
     음수 = 볼륨 감소 (예: -6),
     1보다 크면 = 볼륨 증가

   • 오디오 미리보기(하단) - 작업 흐름이 ▷RUN된 후에만 나타납니다. 조정된 볼륨으로 잘린 오디오를 미리보세요.
     💡"⋮ "(세 점)을 클릭하면 잘린 오디오를 저장할 옵션이 나타납니다.

   • 비디오 미리보기 - 작업 흐름이 ▷RUN된 후에만 나타납니다. 사용된 비디오 + 조정된 볼륨의 업로드된 오디오를 미리보세요. 마우스를 비디오 미리보기 위에 올리면 오디오를 들을 수 있습니다.

🎹ACE-Step

ACE Step은 일반적인 KSampler를 사용하여 음악을 생성합니다. sampler나 scheduler를 변경하려면 서브그래프로 들어가세요.

1. 🎹ACE-Step

   • **🎹**ACE-Step을 사용하려면 활성화하세요.

2. ckpt_name: ace_step_v1_3.5b.safetensors

3. Shift & Steps - 실험하지 않는 한 그대로 두세요.

4. 보컬 볼륨 - 보컬이 있으면 볼륨을 증가시키세요.
   ⚠️ 보컬이 없거나 곡이 악기만 있는 경우에도 1로 설정해야 합니다.

5. 초 - 곡/음악의 지속 시간. (권장: 60초)
   ⚠️ 최소 20-30초 이상이어야 합니다. 더 긴 지속 시간을 사용한 후 음악 시작 지점을 조정하는 것이 좋습니다. ACE-Step은 지속 시간이 너무 짧으면 제대로 생성하지 못합니다. (5-10초는 너무 짧습니다)

6. 오디오 미리보기(상단) - 작업 흐름이 ▷RUN된 후에만 나타납니다. ACE-Step으로 생성된 곡의 전체 길이를 미리보세요.
   💡"⋮ "(세 점)을 클릭하면 생성된 곡/음악을 저장할 옵션이 나타납니다.
   💡이 기능을 사용하여 원하는 음악 시작 지점을 찾으세요.

7. 🎲새 고정 랜덤 및 시드 - 이 버튼을 클릭하고 ▷RUN하여 새 곡/음악 생성을 위한 새로운 시드를 얻으세요.

8. 오디오 시작 - 오디오를 시작할 초를 입력하세요.
   0 = 시작점에서부터
   예를 들어 6.50으로 설정하면 오디오의 6.5초 이전 부분이 잘립니다.
   끝은 비디오의 지속 시간에 따라 잘립니다.

9. 볼륨 - 비디오 오디오의 볼륨을 설정하세요 (소수점으로)
   1 = 기본값,
   음수 = 볼륨 감소 (예: -6),
   1보다 크면 = 볼륨 증가

10. 오디오 미리보기(하단) - 작업 흐름이 ▷RUN된 후에만 나타납니다. 조정된 볼륨으로 잘린 오디오를 미리보세요.
    💡"⋮ "(세 점)을 클릭하면 잘린 오디오를 저장할 옵션이 나타납니다.

11. ACE-Step용 긍정적 프롬프트 - 음악 장르, 악기, 스타일 또는 분위기에 대한 프롬프트를 작성하세요.

12. ACE-Step용 음악 구조/가사 프롬프트 - 곡을 구성하고 가사를 추가하거나 악기만으로 설정하세요.
    💡프롬프트 및 구조에 대한 더 많은 예시는 다음을 참고하세요: https://ace-step.github.io/

13. 비디오 미리보기 - 작업 흐름이 ▷RUN된 후에만 나타납니다. 사용된 비디오 + 생성된 ACE-Step 음악/곡(조정된 볼륨 포함)을 미리보세요. 마우스를 비디오 미리보기 위에 올리면 오디오를 들을 수 있습니다.

🎼첫 번째 및 두 번째 MMAudio

1. 🎼첫 번째/두 번째 MMAudio

   • MMAudio를 사용하려면 활성화하세요.

2. 🎼MMAudio

   • mmaudio_model - 여기에서 MMAudio 모델을 선택/교체할 수 있습니다.

   • steps - 50스텝으로 충분한 품질을 얻을 수 있으며 매우 빠릅니다.

   • 긍정적 프롬프트(상단) 및 부정적 프롬프트(하단)

     - 여기에 프롬프트를 작성하세요. 간단하게 몇 단어나 토큰만으로도 충분합니다. 오디오가 생성되지 않으면 오디오 프롬프트를 추가하세요. 원하지 않는 소리가 있다면 부정적 프롬프트를 추가하세요.

     - 예시:

     비디오에 기타를 연주하는 사람만 있고 드럼 소리가 없다면 프롬프트에 "drums" 또는 "drums, snare"를 추가하세요.

     사람이 노래하지 않도록 하려면 부정적 프롬프트에 "vocals"를 입력하세요.
     -⚠️완벽하지는 않으며 몇 번 시도해야 할 수 있습니다.
     - (어떤 프롬프트가 효과적인지 물어보지 마세요. 저는 아직 무엇이 효과적인지, 무엇이 플레이스보더인지 파악 중입니다.)

   • 볼륨 - 비디오 오디오의 볼륨을 설정하세요 (소수점으로)
     1 = 기본값,
     음수 = 볼륨 감소 (예: -6),
     1보다 크면 = 볼륨 증가

   • 오디오 미리보기 - 작업 흐름이 ▷RUN된 후에만 나타납니다. 조정된 볼륨으로 생성된 MMAudio 소리를 미리보세요.
     💡"⋮ "(세 점)을 클릭하면 생성된 오디오를 저장할 옵션이 나타납니다.

   • 🎲새 고정 랜덤 및 시드 - 이 버튼을 클릭하고 ▷RUN하여 새 소리 생성을 위한 새로운 시드를 얻으세요.

   • 비디오 미리보기 - 작업 흐름이 ▷RUN된 후에만 나타납니다. 사용된 비디오 + 조정된 볼륨으로 생성된 MMAudio 소리를 미리보세요. 마우스를 비디오 미리보기 위에 올리면 오디오를 들을 수 있습니다.

🎥🎼비디오 오디오 결합

비디오 + 결합된 오디오(사용/생성된)의 출력 결과를 미리보기합니다.

1. filename_prefix
   - 여기서 비디오 출력 파일명을 설정할 수 있습니다. "/"를 추가하면 폴더가 생성됩니다.

예시: "mmAud/mmaudio"
비디오는 "🗂️:ComfyUI/output/mmAud/" 폴더에 저장되며, 파일명은 "mmaudio_00001-audio.mp4"가 됩니다. ComfyUI는 파일명 끝에 자동으로 번호를 추가하고, "-audio"를 붙여 비디오에 오디오가 포함되어 있음을 표시합니다.

모든 생성된 비디오는 🗂️:ComfyUI/output 폴더에 저장됩니다.

2. save_metadata
   - ▷RUN 시의 워크플로우를 저장하려면 이 옵션을 활성화하세요. 메타데이터가 저장된 출력 비디오를 ComfyUI에 드래그 앤 드롭하면, 해당 비디오의 모든 입력/상태가 로드됩니다.
   - 비활성화하면 워크플로우 메타데이터가 비워집니다.

💡 오디오가 포함된 비디오를 저장할 때, 비디오 결합 노드는 3개의 출력을 저장합니다. (오디오 포함 비디오, 오디오 없음 비디오, 첫 번째 프레임)
출력 폴더를 정리하려면:

ComfyUI 설정으로 이동하세요.
왼쪽에서 🎥🅥🅗🅢를 선택하세요.
비활성화: (오른쪽, 상단 2개 옵션)

• "성공적인 실행 후 필수 중간 파일 유지" (오디오가 포함된 비디오를 생성할 경우, 오디오 없는 비디오를 저장합니다. 이 옵션을 비활성화하면 오디오 없는 비디오 출력은 저장되지 않으므로 걱정하지 마세요.)

• "메타데이터를 위한 첫 번째 프레임 PNG 저장" (위에서 save_metadata를 비활성화했다면, 이 옵션을 활성화하여 첫 번째 프레임 PNG에서 워크플로우를 복원할 수 있습니다.)

🎞️ 📐🦄💾옵션

💡 음악/사운드를 기획 중이라면 이 옵션들을 비활성화할 수 있습니다.

1. 🎞️보간 배율 (활성화/비활성화)
   - 비디오 프레임 사이에 프레임을 추가하여 비디오를 더 부드럽게 만듭니다.
   - 3-4x 배율 = 매우 부드러움
   - 2x 배율 = 약간 부드러움, 영화 같은 느낌
   - 보간 배율 = 원본 비디오 프레임 사이에 추가할 프레임 수
   - 5초 비디오 - 81프레임, 4x 배율 적용 시 총 321프레임
   - 5초 비디오 - 81프레임, 3x 배율 적용 시 총 241프레임

2. 📐업스케일러 (활성화/비활성화)
   업스케일 배율로 최종 비디오 출력 크기를 입력/조정합니다.
   예: 720x960 - 1.5x = 1080x1440 - 2x = 1440x1920

3. 🦄로고 오버레이 (활성화/비활성화)
   - 비디오에 로고/워터마크를 추가합니다.

4. 💾출력 저장? (활성화/비활성화)
   - 활성화하고 ▷RUN을 눌러 사용된 비디오 + 오디오 결과를 저장하세요.
   💡 기획 단계에서는 출력 폴더를 정리하기 위해 이 옵션을 비활성화할 수 있습니다.
   💡 또는, 잊어버릴 가능성이 있다면 그냥 활성화한 채로 두고, 나중에 직접 출력 폴더를 정리하세요.

🦄로고 오버레이 (워터마크)

비디오에 워터마크를 추가하려면 이 옵션을 활성화하세요.

• 로고/워터마크 이미지를 드래그 앤 드롭하세요.
  투명 배경 이미지를 지원합니다.

• 로고/워터마크의 위치를 선택하세요.

• 로고/워터마크의 크기를 조정하세요.

• 투명도 - 로고/워터마크의 불투명도를 조절하세요.

• 회전 - 로고/워터마크를 기울이고 싶을 경우

• 패딩 X - 로고/워터마크를 수평 측면에서 얼마나 떨어뜨릴지 설정

• 패딩 Y - 로고/워터마크를 수직 측면에서 얼마나 떨어뜨릴지 설정

• 나머지 설정은 그대로 두세요.

---

🧩사용자 정의 노드:

• rgthree-comfy

• ComfyUI-East-Use

• ComfyUI-KJNodes

• ComfyUI-VideoHelpSuite

• ComfyUI-Frame-Interpolation

• ComfyUI-mxToolkit

• WhiteRabbit

• ComfyUI-MMAudio