WAN2.1 | FusionX | LLM | SDXL or FLUX | Upscaling

WAN2.1 | FusionX | LLM | SDXL/FLUX/PONY | 업스케일링

SDXL 버전( Pony 파일도 문제 없이 작동)은 초기 이미지 생성 및 개선에 어떤 SDXL/PONY 모델도 사용합니다.

FLUX 버전은 WAN 부분으로 전송되기 전에 개선을 위해 별도의 SDXL 모델을 사용합니다.

아직도 (대부분의) WAN T2V 워크플로우에 만족하지 못해, 텍스트를 WAN 비디오로 만드는 더 재미있는 방식을 다양한 방법으로 시도하고 있습니다.

이 워크플로우는 비교적 간단하고 짧은 기본 프롬프트를 받아 LLM에 전달하여 개선/확장된 프롬프트를 생성하고, 그 결과로 생성된 이미지 세트 중 최고 또는 가장 좋은 이미지를 선택합니다.

선택된 이미지는 업스케일링/개선된 후 LTXV 이미지 캡셔너에 전달되어 확장된 이미지 프롬프트를 생성합니다(수동으로 프롬프트를 입력하여 이 값을 덮어쓸 수도 있습니다).

개인적으로, LLM 프롬프트 개선기를 고정 시드로 유지하는 것을 선호합니다. 사용하는 LLM 모델에 따라 SDXL이 처리하기에 "너무 세부적인" 프롬프트를 생성할 수 있으므로, 이 경우 수동으로 시드를 변경하세요.

대부분의 SDXL은 개선된 프롬프트를 잘 따릅니다(SFW 및 NSFW 모두).

선택된 이미지는 업스케일링/개선된 후 LTXV 이미지 캡셔너에 전달되어 확장된 이미지 프롬프트를 생성합니다(수동으로 프롬프트를 입력하여 이 값을 덮어쓸 수도 있습니다).

기본적으로 3개의 WAN LoRA를 로드할 수 있으며(Fusion X LoRA 이후에 적용됨).

크레딧: WAN 생성은 주로 /model/1309065/wan-21-image-to-video-with-caption-and-postprocessing?modelVersionId=1998473 (사용자 tremolo28)에서 가져왔으며 일부 수정이 가해졌습니다.

게시된 영상을 테스트 및 생성하는 데 사용된 하드웨어:

RTX 4070TI Super 16GB VRAM / 80GB RAM