FramePack 💎 img2vid / txt2vid with LoRa Workflow

mmaudio는 이후 생성 과정에서 CUDA 사용 속도를 느리게 합니다. 이미 커스텀 노드를 git pull했습니다... nodiff

1.3은 이제 1.3.1입니다. GIMMVIF를 제거하고, RAM 문제를 일으키던 쉬프닝 노드를 다른 노드로 교체했습니다.

이 워크플로우를 컨트롤 패널로 생각해 주세요. 디자인이 마음에 들지 않으면 다운로드하지 마세요. 아래는 스크린샷입니다:

v1.3.1

이미지 리사이즈 노드 업데이트
시작 이미지 입력용 배치 로더 추가
비디오를 엑스트라 옵션으로 추가
고립된 얼굴 리파인어 단계 추가
MMaudio 섹션 추가 (이 섹션은 모델을 VRAM에 로드합니다)
T2V용 시각적 해상도/가로세로 비율 선택기 추가
프레임 트리밍 노드 변경
film_net_fp32용 GIMMVIF 보간 제거
쉬프닝 이미지 노드를 sharpen MTB로 교체

v1.2.1

GIMMVIF 보간 추가 (ds_factor(다운스케일링)을 0.25로 설정하면 보간 속도가 향상되지만 품질이 약간 저하됨)
와일드카드 프로세스 노드 추가

v1.2 추가

프롬프트 입력 및 모델 로더 정리
긍정적 프롬프트에서 이미지 세부사항을 개선하기 위한 CLIP VISION 추가 (다운로드)
VRAM 정리 관리 노드 추가
길이 및 latent_window_size용 외부 공통 입력도 추가

Kijai의 워크플로우를 기반으로 커스텀 및 추가함:

모델 및 리스케일러를 사용한 업스케일러
쉬프닝을 포함한 보간
샘플러 전환 (기본값 또는 F1)
모드 전환 (i2v 또는 t2v)
프레임 5개 제거 (비-핑퐁 VHS는 시작 부분에서, 핑퐁 VHS는 시작과 끝에서 제거) — 이 설정은 기본적으로 t2v에서 40프레임으로 되어 있음
얼굴 교체/리파인을 위한 Reactor 노드 추가 (단, 일부 버그로 인해 이후 생성이 느려짐. 원한다면 Reactor 노드를 자유롭게 삭제해도 됨...)

F1 샘플러를 사용한 텍스트-비디오 모드:

프레임팩 텍스트 인코더(타임스탬프 표시)(F1용 프롬프트) 위에 마우스를 올리면 프롬프트의 타임스탬프 패턴에 대한 자세한 정보를 확인할 수 있습니다:

* 추가로 필요한 커스텀 노드 링크가 있다면 알려주세요, 추가하겠습니다.
또한 현재 래퍼에 버그가 있어 CFG를 1(기본값) 이상으로 증가시키면 추론 시간이 2배로 늘어납니다. 이 워크플로우를 수정하는 유일한 방법은 새로운 샘플러를 추가하고 연결을 재배치하는 것이며, Comfy를 재시작해도 해결되지 않습니다. 안타깝지만 현재 상태는 그대로입니다..

노드:

최신 Kijai 래퍼 버전: https://github.com/kijai/ComfyUI-FramePackWrapper.git

F1 샘플러: https://github.com/kijai/ComfyUI-FramePackWrapper/pull/14/files

다음도 사용 가능:

https://github.com/ShmuelRonen/ComfyUI-FramePackWrapper_Plus

GIMMVIF:

[https://github.com/kijai/ComfyUI-GIMM-VFI] (자동 다운로드 포함 모델)

모델 링크:

https://huggingface.co/Kijai/HunyuanVideo_comfy/blob/main/FramePackI2V_HY_fp8_e4m3fn.safetensors

https://huggingface.co/Kijai/HunyuanVideo_comfy/blob/main/FramePackI2V_HY_bf16.safetensors

sigclip:

https://huggingface.co/Comfy-Org/sigclip_vision_384/tree/main