Unlimited length I2V (Framepack + LoRA support !)
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
무제한 길이 I2V — ComfyUI 워크플로우
ComfyUI를 위한 무제한 길이 I2V 워크플로우에 오신 것을 환영합니다. 이 워크플로우는 FramePack 시스템을 활용하여 과거 Hunyuan 또는 Wan 구현에서의 96프레임 제한을 넘어 실질적으로 무제한 길이의 비디오(프레임 수)를 생성합니다.
몇 주 전만 해도 이런 출력은 불가능했지만, 이제 몇 개의 노드만으로 가능해졌습니다.
⚠️ 이는 첫 번째 작동용 초안입니다. 곧 큰 개선이 예정되어 있습니다(아래 참조).
🚀 기능 소개
이 워크플로우는 FramePack을 사용하여 긴 일관성 있는 시퀀스를 가진 이미지-비디오(I2V) 생성을 수행합니다. 원래의 FramePack I2V 구조와 ComfyUI의 모듈형 유연성 및 네이티브 모델 지원을 결합함으로써, 일반적인 프레임 수 제한을 훨씬 뛰어넘는 이미지 애니메이션의 새로운 창의적 가능성을 열어줍니다.
현재 기능:
실험적 LoRA 지원!
입력 이미지를 가장 가까운 지원 포맷으로 자동 조정
마지막 프레임 지원
모든 입력 해상도 허용(가장 가까운 유효 해상도로 반올림)
이미지 설명을 위한 LLM 활용
teacache 사용
또한 워크플로우 내 각 설정에 직접 설명 노트를 추가했습니다. 사용할 때 이 페이지를 열어두지 않아도 됩니다!
🔧 의존성
이 워크플로우를 실행하려면 다음이 필요합니다:
fp16 및 bf16를 지원하는 Nvidia RTX 30XX, 40XX, 50XX 시리즈 GPU. GTX 10XX/20XX는 테스트되지 않았습니다.
6GB VRAM (네, 단 그만 있습니다! 노트북에서도 작동 가능합니다!)
🧩 필요한 ComfyUI 사용자 정의 노드
- Kijai의 ComfyUI용 FramePack Wrapper
➜ https://github.com/kijai/ComfyUI-FramePackWrapper
작성 시점 기준, ComfyUI 인터페이스에서 제공되지 않았습니다. Manager > Git URL을 통한 설치 > https://github.com/kijai/ComfyUI-FramePackWrapper.git로 설치할 수 있습니다.
LoRA 지원을 위해: "dev" 브랜치가 필요하며, 현재까지는 GUI로는 불가능합니다. PowerShell(또는 Linux의 bash)을 열고 ComfyUI/custom_nodes로 이동한 후 "git switch dev" + "git pull"을 실행해야 합니다.
📦 모델 및 리소스 다운로드
1. 네이티브 모델(텍스트 인코더, VAE, sigclip):
2. 트랜스포머(FramePack) 모델:
🧠 자동 다운로드(권장):
HuggingFace: lllyasviel/FramePackI2V_HY
➜ 위치:ComfyUI/models/diffusers/lllyasviel/FramePackI2V_HY🧠 수동 다운로드(단일 safetensor 파일):
위치:ComfyUI/models/diffusion_models/FramePackI2V_HY_fp8_e4m3fn.safetensors
(저메모리 GPU용 최적화, FP8 및 낮은 정밀도로 호환성 향상)FramePackI2V_HY_bf16.safetensors
(고메모리 GPU에 적합, BF16 정밀도로 더 높은 품질 제공)
☕ 선택 기능: Teacache
Teacache는 확산 모델의 중간 계산 상태를 저장하는 스마트 캐싱 시스템입니다. 이는 반복적인 조정이나 유사한 입력으로 여러 비디오 세그먼트를 생성할 때 생성 속도를 크게 향상시킵니다.
워크플로우에는 메모리 사용량과 속도 우선순위에 따라 Teacache를 켜거나 끄는 스위치가 포함되어 있습니다.
Teacache 효과: 반복 실행 시 최대 2배 속도 향상
업데이트 정보
이 워크플로우의 v0.1 또는 v0.2에서 업그레이드하신 경우, kijai/ComfyUI-FramePackWrapper를 dev 브랜치로 업데이트해야 합니다.
ComfyUI/custom_nodes/ComfyUI-FramePackWrapper로 이동한 후, PowerShell/Bash에서 다음을 입력하세요:
git switch dev
git pull
이를 위해서는 git이 설치되어 있어야 합니다.
LoRA 지원은 현재 매우 실험적입니다. HunYuan 비디오 LoRA만 사용 가능하며, 효과는 상당히 무작위적입니다. 현재 설명으로는 이 LoRA들이 모두 매우 짧은 비디오(원래 제한으로 인해)로 학습되었기 때문에 FramePack으로 생성하는 고프레임 비디오에 영향을 미치기 때문입니다. 향후 이 부분을 개선해보려 합니다(이것은 워크플로우의 제한이 아니라 원래 FramePack 구현의 제한입니다).
⚡ 벤치마크 결과
제 "오래된" RTX 3090에서 테스트한 결과:
해상도: 704x544
길이: 150프레임
생성 시간: 11분
다른 테스트:
- 384x448, 600프레임 생성 시간 15분.
원래 프로젝트는 RTX 4090 데스크탑에서 비최적화 상태로 2.5초/프레임, Teacache 사용 시 1.5초/프레임 속도로 생성 가능하다고 주장합니다.
🧪 현재 상태
이 릴리즈는 두 번째 초안입니다. 대부분 작동하며 "직관적이고 핵심에 집중"되었습니다.
이것은 제가 Civit.ai에 첫 번째로 기여한 워크플로우입니다! 댓글은 부드럽게 부탁드립니다.
다음 단계:
업스케일링(곧 추가 예정)
품질 향상을 위한 다른 방법들
📎 원본 프로젝트 출처
FramePack은 lllyasviel이 개발했습니다. 이 워크플로우는 Kijai의 작업과 추가 최적화 및 사용자 친화적 기능을 통해 ComfyUI에 감싸져 있습니다.
🧠 감사 인사
원래 FramePack 아키텍처의 개발자 @lllyasviel
ComfyUI 노드 래퍼의 개발자 @Kijai
모델 및 파이프라인 통합을 제공한 Comfy-Org
테스트 및 피드백을 제공한 모든 ComfyUI 커뮤니티 구성원
기본 설정은 RTX 3090(24GB VRAM) 기준으로 구성했습니다. 메모리가 부족한 경우, 먼저 FramePack 모델을 fp8 버전으로 변경하고, 여전히 부족하다면 VAE 배치 파라미터를 줄이세요.
제 워크플로우로 생성한 모든 영상을 여기에 올려주세요! 제가 여러분이 무엇을 하고 있는지 정말 보고 싶습니다!