24s WAN-Video in 10 Minutes

나는 10분 안에 24초 길이의 영상을 생성할 수 있는 워크플로우를 개발했습니다. 핵심 원리는 Kijai의 WanVideoWrapper 노드와 Skyreel V2 DF 모델을 결합한 Diffusion Force 시스템을 기반으로 합니다. 이 과정은 먼저 Illustrious/SDXL을 사용하여 고품질 이미지를 생성하는 것으로 시작됩니다(보다 현실적인 결과를 위해—Skyreel의 TXT2VID 출력보다 훨씬 뛰어난 외관을 제공합니다). 이 이미지는 생성 파이프라인에 입력되는 초기 프레임으로 사용됩니다.

약 24초 길이의 연속적인 장면은 7개의 하위 프롬프트를 사용하여 생성되며, 각 하위 프롬프트는 97프레임을 생성합니다. 이러한 하위 프롬프트는 수동으로 작성하거나 LLM을 통해 생성할 수 있습니다. 저는 Ollama를 사용해 왔지만, 이 부분은 쉽게 커스터마이징할 수 있습니다.

가속은 CausVid LoRA V2를 고강도로 사용하고, CFG 스텝 스위처를 결합하여 달성됩니다: 처음 3스텝은 CFG 4로, 그 후 7스텝은 CFG 1로 실행합니다. 이 방식은 렌더링 속도를 유지하면서도 유연하고 자연스러운 움직임을 보장합니다. 단점은: 이 시스템은 갑작스러운 움직임 전환을 잘 처리하지 못한다는 것입니다. 예를 들어, 달리기 후 갑작스러운 정지 같은 장면은 작동하지 않으며, 캐릭터는 계속 달리게 됩니다.

최종적으로, 7개의 세그먼트는 하나의 완성된 영상으로 병합되며, 중복 프레임은 제거되어 연속성을 보장합니다.

이것은 Anything Everywhere 노드와 숨겨진 연결을 통해 관리 가능한 복잡하지만 비교적 정리된 워크플로우입니다. 질문이 있다면 언제든지 문의해 주세요.

한 가지 팁: LLM은 프롬프트 작성에 완벽하지 않습니다. 저는 이를 광범위하게 테스트했고, 수일간의 실험 끝에 다시 수동으로 작성하는 것으로 돌아왔습니다. 수동으로 작성할 때 품질이 훨씬 뛰어납니다.