IT'S ALIVE! | Ultimate IMAGE to VIDEO suite | LTX/Cog/PyramidFlow
세부 정보
파일 다운로드
이 버전에 대해
모델 설명
나를 불필요하게 부르지 마세요, 괜찮아요. 감사합니다 💗 피드백이 훨씬 더 환영됩니다.
더 많은 비디오 예제는 이전 버전을 확인하세요.
하단에 크레딧 및 감사의 인사가 있습니다.
이 ComfyUI 워크플로우는 6개의 비디오 모델을 사용하여 I2V를 생성하는 다양한 방법을 제공합니다:
LTX
CogVideoX-5B-1.5-I2V
Pyramid Flow
CogVideoX-Fun-v1.1-InP (2B)
CogVideoX-Fun-v1.1-InP (5B)
⚠️⚠️⚠️⚠️⚠️⚠️⚠️⚠️⚠️⚠️⚠️⚠️⚠️⚠️⚠️⚠️⚠️⚠️⚠️⚠️⚠️
이 워크플로우는 빠르고 접근하기 쉽게 설계되었으며, 모든 필요한 설정을 하나의 프론트엔드 UI(콘솔)에 포함하여 수많은 다른 모듈을 계속해서 탐색할 필요 없이 고품질 비디오를 최대한 빠르게 생성할 수 있습니다. 또한 여러 사용자 정의 노드 설치가 필요한 다양한 실험적 방법도 포함되어 있습니다.
결과적으로, 이 워크플로우는 초보자에게 추천되지 않습니다.
더 간단한 경험을 원하신다면, zip 파일에 포함된 MINI 버전을 시도해 보세요. 이는 전체 워크플로우의 간소화된 버전입니다.
워크플로우는 다양한 비디오 모델에 대한 제 경험을 바탕으로 설계되었으며, 이 설정들은 각 모델과 일반적으로 연관된 표준 설정과 다를 수 있습니다.
- - - | IT'S ALIVE | - - -
이것은 한 달 이상, 거의 매일 작업한 결과입니다.
저는 여전히 개선하고 있으며, 실험을 통해 발견한 유용한 설정을 추가하고 최적화하고 있습니다.
워크플로우는 콘솔(컨트롤 룸)을 벗어날 필요 없도록 설계되었습니다;
필요한 모든 기능이 손쉽게 접근 가능합니다.
일부 추가 조정 명령은 키보드 단축키를 통해 사용할 수 있습니다(아래 참조).
다양한 방법이 제공되며 슬라이더로 선택할 수 있습니다:
창의적(Creative): 이 모드에서는 단일 이미지를 입력으로 사용하고, 모델은 완전한 창의적 자유를 가지고 자체 종결점을 결정하여 비디오를 생성합니다.
*이 방법은 메뉴에 있는 모든 비디오 모델에서 작동합니다.고정(Sticky): 이 모드에서는 단일 이미지를 입력으로 사용하고, 워크플로우는 입력 이미지와 유사하지만 약간 다른 시점이나 얼굴 표정(사람이 감지된 경우)을 반영한 종결 프레임을 자동으로 생성합니다. 이 새로운 이미지(입력 이미지와 유사하고 참조함)는 "조정(Tweaking)" 섹션에서 제공되는 편리한 슬라이더를 사용해 세부 조정할 수 있습니다. 이를 통해 비디오 전체에 걸쳐 전체 구성이 유지됩니다.
*이 방법은 현재 COG 모델에서만 작동하므로 콘솔에서 활성화해야 합니다.줌(Zoom): 이 모드에서는 단일 이미지를 입력으로 사용하고, 비디오의 최종 프레임은 입력 이미지의 확대 버전입니다. 줌 레벨은 "조정" 메뉴에서 조정할 수 있습니다. *이 방법은 현재 COG 모델에서만 작동합니다
Img1→Img2(사용자 정의 시작/종료 모드): 이 모드는 두 개 또는 세 개의 이미지를 입력으로 사용하여 이들 사이의 전환을 생성할 수 있습니다. 제어된 애니메이션에 특히 유용하며, 5B COG 모델에서 잘 작동합니다. *이 방법은 현재 COG 모델에서만 작동합니다
Img1→Img1: 이 모드는 단일 입력 이미지를 시작 및 종료로 사용하여 입력 이미지의 구성 유지에 초점을 맞춥니다. *이 방법은 현재 COG 모델에서만 작동합니다
단축키:
3개의 키보드 키를 사용하여 필요한 섹션만 빠르게 이동할 수 있습니다:
1 = 콘솔
"1" 키를 누르면 모든 설정이 쉽게 접근 가능한 콘솔로 이동합니다.
2 = 궤적(TRAJECTORIES) (TORA - COG)
"2" 키를 누르면 Tora 궤적을 사용할 수 있습니다.
이 방법은 COG 모델에만 전용입니다.
이 워크플로우에서 TORA와 호환되는 유일한 모델은 "5BInP"이며, 아래와 같이 선택해야 합니다:
네 가지 조합 가능한 궤적이 제공됩니다.
콘솔에서 제공되는 전용 슬라이더를 사용하여 1개, 2개, 3개 또는 모두 네 개를 활성화할 수 있습니다:
기본 해상도나 입력 이미지를 변경할 때마다 모든 궤적을 다시 설정해야 합니다.
3 = 조정(TWEAKING)
"3" 키를 누르면 조정 섹션으로 이동합니다.
여기서 STICKY 모드의 종료 프레임을 조정하여 입력 이미지와 유사하지만 약간 다른 시점/각도 또는 다른 얼굴 표현/머리 위치를 반영할 수 있으며, 최종 프레임이 초기 이미지와 유사하거나 거의 동일하게 유지되면서 미세한 변화를 도입할 수 있습니다.
오른쪽에 자동 아웃페인팅 기능이 제공되며, 필요할 경우 결과를 복사하여 입력으로 다시 붙여넣을 수 있습니다(아웃페인팅은 콘솔에서 활성화해야 합니다).
모델 변경 시 VRAM 정리 권장:
### 문제 해결:
콘솔에서 이 오류 메시지가 나타나는 것은 완전히 정상입니다:
### 최소 하드웨어 요구사항:
저해상도의 경우 12GB VRAM.
### 렌더 시간:
3090에서 각 비디오는 모델, 해상도, 스텝 수에 따라 5초에서 2분 이상 소요됩니다.
### 중요한 COG 제안 및 예시:
- 좋은 일관된 결과를 얻으려면 "First/Last" 모드를 사용할 때 두 이미지가 유사해야 합니다(같은 장소, 인물, 모든 요소의 매우 가까운 위치). 예: 어떤 이미지든 선택할 수 있지만, 유사한 두 이미지를 사용하면 최상의 결과를 얻을 수 있습니다. 예를 들어, 무작위 인터넷 비디오의 두 스크린샷, 또는 두 가지 다른 포즈를 취한 3D 캐릭터, 또는 두 개의 유사한 AI 생성 이미지를 사용해 보세요 🙄
- 10~15단계 정도로 유지하고, 품질을 높이려면 더 높은 단계를 사용하세요. (그 이하에서는 성공률이 불확실하지만, 저는 5단계에서도 좋은 결과를 얻었습니다.)
- 빠른 테스트를 위해 낮은 기본 해상도(예: 320)를 사용하세요. 이 해상도에서는 제 3090에서 약 10초 소요됩니다.
- 결과에 아티팩트가 너무 많으면, 자동 프롬프트를 피하고 간단한 프롬프트로 더 안정적이고 일관된 애니메이션을 얻기 위해 "사용자 정의 프롬프트만"으로 전환하세요. 간단한 문장을 작성하세요.
(워크플로우 내에 작성된 매뉴얼 확인)
"사람이 포즈를 취하고, 깜박임, 카메라 흔들림"과 같은 단순한 프롬프트 또는 단어 wiggle, earthquake, lens flares, blink, camera shake, handheld camera는 이미 여기서 훌륭한 성공을 거둔 테스트 사례입니다. 여러분의 발견을 공유해주세요!
- 비디오가 설정에 비해 너무 빠르게 보인다면, 그룹 내에서 보간을 활성화하고 "추가 보간 배수"를 높이거나, 워크플로우 내에 작성된 사용자 매뉴얼에 따라 COG 설정 그룹 내의 비디오 길이를 조정하세요.
### 기타 고려사항:
저는 COG를 매우 많이 테스트했으며, 표준 설정에서 제가 더 나은/더 빠른 결과를 얻었다고 판단한 값으로 변경했습니다. 적어도 제 테스트 기준에서는요.
원하는 대로 설정을 자유롭게 수정하세요!(더 나은 설정을 발견하셨다면 알려주세요!)
no need to buzz me, i'm fine. ty💗 feedbacks are much more appreciated.
*참고:
COG 모델은 다양하며 서로 다릅니다. 혼동하지 마세요.
다른 COG 모델들이 어떤 능력을 갖추고 있는지 확인해 보시기 바랍니다. 현재 혼란이 있습니다.
여기서 혼란을 해소하기 위해 Kijay가 작성한 스프레드시트를 참조하세요:
https://docs.google.com/spreadsheets/d/16eA6mSL8XkTcu9fSWkPSHfRIqyAKJbR1O99xnuGdCKY/edit?gid=0#gid=0
일반적으로 빠르게 비디오를 생성하고, 가장 역동적인 옵션, 해상도, 비율, First/Last, 궤적을 원하신다면 이 워크플로우를 그대로 사용하거나 적어도 이 워크플로우에서 사용하는 모델을 사용하는 것을 추천합니다.
TORA가 이제 이 XFUN 버전의 COG와 호환되므로, 이를 워크플로우에 추가했습니다.
변경 사항(CHANGELOGS):
V8.0
변경 사항:
전체 워크플로우를 완전히 재작성 + 정리 및 더 나은 로직 적용
3개의 비디오 모델 추가
자동 아웃페인팅 추가
liveportrait 추가
창의적 모드가 이제 정상 작동하며, 종료 이미지를 선택하지 않아도 됨
이걸 완성하느라 일주일이 걸렸어, 진짜 놀라워
V7.0
변경 사항:
- 워크플로우 정리, 버그 수정
V6.0
변경 사항:
4개의 Tora 궤적 추가
더 많은 UI 제어
개선된 설정, 정제 및 팁 포함
TORA를 사용하려면 5B 모델을 사용해야 합니다(2B에서 5B로 전환하는 스위치가 있습니다).
그리고:
그룹에서 "Let's Cog"를 비활성화하세요
이미지를 불러오고 실행하세요
4개의 궤적을 설정하세요(컨트롤+클릭하여 스플라인을 여러 점으로 분할)
"Let's Cog"를 활성화하고 실행하세요( "Let's Cog"를 활성화하면 자동으로 "Extend Video"가 켜지며, 지금은 이 기능이 작동하지 않으므로 비활성화해 두세요)
V5.0
변경 사항:
추가 확장 기능(세 번째 이미지를 로드하여 3개의 이미지를 사용해 비디오 생성 가능)
더 많은 UI 제어
개선된 설정, 정제 및 팁 포함
V4.0
변경 사항:
EXTEND가 모든 모드에서 작동하도록 수정(First/Last 모드 제외)
개선된 UI
+ LoRA 강도 슬라이더
+ 시드 관리
+ 프롬프트 강도
+ COG 프레임 수 조절
+ 모델 선택기 2B/5B
+ 부정적 프롬프트
기타 변경사항:
효율성 개선
완전히 재구성된 체인 시스템
일부 사소한 수정
V3.0
|변경 로그|:
개선된 UI:
LoRA 로더 및 강도 슬라이더 추가
모델 선택기 2B/5B
부정적 프롬프트
일부 워크플로우 효율성 개선
기타 변경사항:
더 빠른 보간 방식으로 전환
일부 사소한 수정
사용자 매뉴얼 업데이트
V2.0
|변경 로그|:
더욱 정제된 워크플로우
더 많은 옵션
단순한 UI
사용자 매뉴얼 추가
Kijai, Purz, Rgthree, DreamProject, VideoHelperSuite 팀에 특별한 감사를 드립니다. 이분들은 제가 해결할 수 없다고 생각했던 몇 가지 단계를 해결하기 위해 시간을 헌신해 주셨습니다.
여러분도 이분들의 페이지를 방문하여 그들의 프로젝트를 지원해 주시기를 권장합니다.