첫 번째 및 마지막 프레임 및 키 프레임 참조 업데이트 (ComfyUI 지원 완료) 0421

키 프레임 지원을 위한 nirvash의 저장소 (ComfyUI 별도 가중치 필요 없음):

nirvash/ComfyUI-FramePackWrapper

[ WEBP 형식의 예시 이미지는 ComfyUI에 직접 드래그 앤 드롭 가능하며, Workflow를 포함합니다 ]

[ 오른쪽 구성 요소 패키지를 다운로드하면, example_workflows 디렉터리에 워크플로우가 포함되어 있습니다 ]

기능

• 끝 프레임 설정 지원

• 가중치가 적용된 키 프레임 할당 지원

• 각 섹션별로 다른 프롬프트 사용 (각 FramePack에 별도 프롬프트 설정)

kijai의 ComfyUI-FramePackWrapper 기반:

https://github.com/kijai/ComfyUI-FramePackWrapper

---

Pytorch Gradio WebUI에서 끝 프레임 지원:

FramePack_SE by TTPlanetPig, lllyasviel/FramePack 기반

---

이미지 생성 모델처럼 비디오 대형 모델을 사용하세요! 민신 & Kijai의 노드

비디오 생성을 위한 다음 프레임 예측 모델에 입력 프레임 컨텍스트 패킹

알고리즘 팀: Lvmin Zhang Maneesh Agrawala

스탠포드 대학교

논문 코드

lllyasviel의 FramePack을 위한 ComfyUI Wrapper

최선의 실천 방법: ComfyUI 노드 kijai/ComfyUI-FramePackWrapper

이 페이지 오른쪽의 다운로드 링크에는 BF16/FP8 safetensors 형식의 모델 파일과 Kijai 노드의 워크플로우가 포함되어 있습니다

FramePack

• 6GB 랩톱 GPU 메모리로 13B 모델을 사용해 FPS-30으로 수천 프레임을 전송합니다.

• 단일 8xA100/H100 노드에서 배치 크기 64로 13B 비디오 모델을 미세 조정하여 개인/연구실 실험에 사용합니다.

• 개인 RTX 4090은 2.5초/프레임(비최적화) 또는 1.5초/프레임(teacache) 속도로 생성합니다.

• 타임스텝 디스틸레이션 없음.

• 비디오 확산이지만, 이미지 확산처럼 느껴집니다.

• 민신의 FramePack은 Hunyuan Video Diffuse 기반으로, 6GB GPU 메모리의 랩톱에서도 13B 모델을 사용해 FPS 전체 속도로 수천 프레임을 연속 생성합니다.

• 8xA100/H100 서버에서 BS64로 13B 비디오 모델을 미세 조정하여 개인/연구실용으로 사용합니다.

• 개인 RTX 4090은 2.5초/프레임(비최적화) 또는 1.5초/프레임(teacache) 속도로 생성합니다.

• 타임스텝 디스틸레이션 없음 (CFG 디스틸레이션만 사용, 고품질).

• 이미지 확산 모델처럼 비디오 대형 모델을 사용하세요!

대부분 작동하며, 속도를 높이기 위해 일부 최적화를 추가했습니다.

텍스트 인코더, VAE 및 sigclip에 모든 네이티브 모델 사용:

https://huggingface.co/Comfy-Org/HunyuanVideo_repackaged/tree/main/split_files

https://huggingface.co/Comfy-Org/sigclip_vision_384/tree/main

트랜스포머 모델 자체는 다음에서 자동 다운로드됩니다:

https://huggingface.co/lllyasviel/FramePackI2V_HY/tree/main

→ ComfyUI\models\diffusers\lllyasviel\FramePackI2V_HY

또는 단일 파일을 ComfyUI\models\diffusion_models에 위치시킵니다:

https://huggingface.co/Kijai/HunyuanVideo_comfy/blob/main/FramePackI2V_HY_fp8_e4m3fn.safetensors https://huggingface.co/Kijai/HunyuanVideo_comfy/blob/main/FramePackI2V_HY_bf16.safetensors

요구 사항

이 저장소는 최소한의 독립형 고품질 샘플링 시스템과 메모리 관리를 가진 기능성 데스크톱 소프트웨어입니다.

다른 것들을 시도하기 전에 이 저장소부터 시작하세요!

lllyasviel/FramePack: 비디오 확산을 실용적으로 만들어 봅시다!

요구사항:

• fp16 및 bf16을 지원하는 RTX 30XX, 40XX, 50XX 시리즈의 Nvidia GPU. GTX 10XX/20XX는 테스트되지 않음.

• Linux 또는 Windows 운영체제.

• 최소 6GB GPU 메모리.

13B 모델을 사용하여 30fps(1800프레임)로 1분 비디오(60초)를 생성하려면 최소 6GB GPU 메모리가 필요합니다. (네, 6GB입니다. 랩톱 GPU도 가능합니다.)

속도 측면에서, 제 RTX 4090 데스크톱에서는 2.5초/프레임(비최적화) 또는 1.5초/프레임(teacache) 속도로 생성됩니다. 3070ti 랩톱이나 3060 랩톱 같은 경우 약 4~8배 느립니다.

어떤 경우든, 다음 프레임(-섹션) 예측 방식이므로 전체 비디오가 생성되기 전에도 생성된 프레임을 직접 확인할 수 있어 시각적 피드백이 풍부합니다.

인용

@article{zhang2025framepack,
    title={Packing Input Frame Contexts in Next-Frame Prediction Models for Video Generation},
    author={Lvmin Zhang and Maneesh Agrawala},
    journal={Arxiv},
    year={2025}
}

Kijai의 모델 저장소

Kijai/HunyuanVideo_comfy · Hugging Face