Ryuko Matoi 🎬 Wan2.1-T2V-14B

설명

"네 의견은 쓰레기다. 아무리 누구라고 해도 나는 내 길을 갈 것이다." - 마토이 류코

사용법

트리거 단어는 "Ryuko-chan"입니다.

저는 특정 프롬프트 형식을 사용하지 않습니다(아직 실험 중입니다). 하지만 보통 모든 프롬프트를 "High quality 2D art animation."로 시작합니다. 예: "High quality 2d art animation. Ryuko-chan, with long red hair and a black trench coat, stands on top of a ruined skyscraper. The city burns in the distance, smoke rising into the dark sky. The wind makes her coat billow as she crosses her arms. The camera suddenly zooms in on her determined face. She smirks, tilts her head slightly, and winks."

추론에는 Kijai의 래퍼를 사용합니다. 불행히도 Civitai는 이 도구에서 메타데이터를 파싱하지 않는 것처럼 보이지만, 워크플로우는 각 클립에 내장되어 있습니다. 혹시 모를 상황을 대비해 JSON 형식의 워크플로우 예시를 제공합니다. 여전히 개발 중이므로 오른쪽이 약간 혼잡하지만 전반적으로 완전히 기능합니다.

저가 게시한 모든 클립은 LoRA의 원본 출력이며, 업스케일링이나 프레임 보간을 사용하지 않습니다(이것들은 LoRA의 진정한 능력을 왜곡합니다). 다음 파라미터는 모든 클립에서 일관되게 사용됩니다:

Sampler: unipc
Steps: 20
Cfg: 6
Shift: 7

제 워크플로우를 확인하면, Wan2.1이 출시된 이후 도입된 가능한 모든 최적화 기술을 사용하고 있음을 알 수 있습니다. 저는 이 기술들이 소비자용 GPU에서 Kling 수준의 비디오 모델을 만족스러운 속도로, (거의) 품질을 희생하지 않고 실행할 수 있도록 해준 소프트웨어 개발자 및 ML 엔지니어들(Comfyanonymous, Kijai, TeaCache 팀 및 기타 많은 분들)에게 감사를 표하고 싶습니다.

처음에는 "순수한" FP8 + SDPA로 시작했고, 아래는 각 최적화 기술을 적용했을 때 얻은 속도 향상입니다.

참고로, 제 환경은 RTX 3090, 64GB RAM, Win 11, Python 3.11.6, Torch 2.7.0.dev20250311+cu126, Sage Attention 2.1.1, Triton 3.2.0, NVidia 드라이버 572.16, ComfyUI portable v0.3.26입니다.

아래에 언급한 시간은 갤러리에 표시하는 클립 렌더링 시간이 아닙니다. 대부분 640x480x81이며, 이는 총 시간에 약 2분을 추가합니다. 그러나 이는 상관없습니다. 보통 한 번에 50~60개의 프롬프트를 실행하고 몇 시간 후에 결과를 수집하기 때문입니다.

그러나 저에게 가장 중요한 시간은 Wan-14B T2V를 테스트하고 다른 LoRA 버전을 비교할 때의 시간입니다. 이 단계에서는 512x512x65 크기를 사용합니다. 이 테스트 클립의 99%는 생성 직후 폴더로 이동되지만, LoRA 품질을 명확하게 평가할 수 있으므로 테스트 시간 추론을 가능한 한 빠르게 해야 합니다.

512x512x65 클립, 20스텝, UniPC 샘플러 기준:

(DiT 추론 단계만 고려합니다. 최적화는 UMT5를 통한 프롬프트 인코딩 또는 VAE를 통한 레이턴트 디코딩 시간에는 영향을 주지 않으며, 이 시간은 2~3초로 무시할 수 있습니다.)

• fp8_e4m3fn + sdpa -> 09:24 (28.24s/it)

• fp8_e4m3fn + sageattention 2 -> 06:53 (20.70s/it) +36% (1.36x)

• fp8_e52m + torch.compile + sageattention 2 -> 06:21 (19.08s/it) +48% (1.48x)

• fp8_e52m + torch.compile + sageattention 2 + teacache (0.250/6) -> 04:29 (13.50s/it) +109% (2.09x)

• fp8_e52m + torch.compile + sageattention 2 + teacache + fp16_fast -> 03:23 (10.19s/it) +177% (2.77x)

따라서 품질 손실은 최소한이며, 거의 3배 속도 향상을 달성했습니다(제 사용 사례 기준; 다른 사용자에게는 다를 수 있습니다). 동일한 시드로 TeaCache/Sage Attention 2를 사용하여 렌더링한 클립과 사용하지 않은 클립을 비교해 보았으나, 품질 저하를 명확히 확인하지 못했습니다. 매우 복잡한 프롬프트에서 움직임이 많을 경우 약간의 차이가 있을 수 있지만, 심지어 '원본' 모드에서도 이는 일반적으로 어려움을 겪기 때문입니다. 참고로, 저는 Enhance-A-Video와 SLG(레이어 9, 0.2-0.8)를 광범위하게 사용합니다. 이들은 클립의 품질을 향상시키고 움직임 아티팩트를 완화하는 데 긍정적인 영향을 미치는 것으로 보입니다.

속도 향상은 HV에서 Wan으로 전환하는 데 결정적인 요인 중 하나였습니다. Wan은 더 나은 품질을 제공하지만, 저는 HV에서의 빠른 렌더링에 익숙했기 때문에 Wan에서도 유사한 속도를 얻을 수 있었던 것이 전환을 가치 있게 만들었습니다.

학습

215장의 이미지를 사용했습니다(대부분은 《킬 라 킬》 전체 25화에서 18,461개의 스크린캡을 수동으로 선별한 후, 공식 아트워크 몇 장을 추가했습니다). 이 이미지들은 THUDM/cogvlm2-llama3-chat-19B를 사용하여 다음 프롬프트로 캡션 처리했습니다:

"이 예술작품을 상세히 설명하세요. 시각적 스타일, 배경, 분위기, 예술적 기법에 집중하세요. 어두운 머리카락을 가진 여성 캐릭터가 등장할 경우, 그녀를 'Ryuko-chan'이라 부르세요. 그녀의 옷, 액세서리, 자세를 언급하되, 얼굴 특징, 신체 비율, 신체적 속성은 묘사하지 마세요. 구체적인 예술 스타일 용어(예: 셀 셰이딩, 페인팅 스타일, 수채화, 디지털 일러스트)와 미학을 정의하는 시각적 요소를 포함하세요. 조명, 색상 팔레트, 구성, 주요 예술적 영향도 설명하세요."

이 방법의 목적은 류코의 옷과 머리카락 색을 자유롭게 변경하면서도, 그녀의 외모(얼굴, 신체 등)의 다른 모든 측면은 원래대로 유지하고 인식 가능하게 만드는 것이었습니다. 이는 실제로 효과가 있었고, WanVideo는 매우 뛰어난 결과를 내놓았습니다(제가 게시한 예시를 보면 알 수 있을 것입니다). 불행히도, 톱니 모양의 동공은 학습되지 않았으며, 이는 데이터셋에 근접 촬영이 충분하지 않았기 때문입니다.

Ryuko 외에는 이름으로 캡션하지 않았기 때문에, 모델은 Senketsu와 가위 칼날의 시각적 특징을 학습했을 수 있지만, 이를 명시적으로 호출하면 작동하지 않을 가능성이 있습니다(아직 충분히 테스트하지 않았습니다). 그러나 이는 의도적인 것이었고, 모델에게 류코와 그녀의 신체적 외모에 대해서만 가르치려 했습니다.

옷과 머리카락 색을 명시적으로 설명하지 않으면, 대부분 류코의 원래 복장으로 기본 설정됩니다. 일상 장면에서는 정규 교복을, 전투 및 강렬한 장면에서는 주로 Senketsu를 선호합니다.

(처음에는 캐릭터 전용 LoRA를 만들고 싶었으며, 이로써 류코를 사실적으로도 그릴 수 있었습니다. 그러나 데이터셋 편향이 너무 강했고, 결과적으로 원작 시리즈의 스타일로만 렌더링할 수 있었으며, 이는 결코 나쁜 결과는 아닙니다. 따라서 이를 캐릭터/스타일 혼합 LoRA라고 부르는 것이 더 정확할 수 있습니다.)

첫 번째 버전의 LoRA는 diffusion-pipe를 사용해 1.3B 모델로 학습했지만, 결과가 마음에 들지 않았습니다. 1.3B 모델(제 의견으로는)은 품질 면에서 HV와 경쟁하기엔 너무 작습니다(유일한 장점은 속도와 자원 요구량입니다). 두 번째 버전은 ai-toolkit을 사용해 학습했지만, 기대했던 만큼 좋지 않았습니다(이는 ai-toolkit이 캡션 학습을 아직 지원하지 않기 때문이라고 판단합니다).

마지막으로, 현재(성공적인) 버전은 musubi-tuner를 사용해 14B 모델로 학습했습니다. 아래는 제가 사용한 명령어입니다(저는 일반적으로 musubi-tuner 파이프라인을 실행하기 위해 .bat 파일을 만드므로, 학습 명령의 형식이 그와 같습니다). 간략히 설명하면, 대부분의 중요한 파라미터는 기본값과 동일하며, 학습률만 7e-5로 변경했습니다. 40에폭(17,630스텝, 1에폭당 430스텝) 동안 학습했고, 3일간의 테스트 후 가장 성공적인 체크포인트를 15,050스텝으로 선택했습니다. 모델이 계속 개선되고 있었고, 학습 손실의 추이가 긍정적이었기 때문에 더 많은 스텝으로 학습할 수도 있었을 것입니다.

• cache_latents (vae):

python wan_cache_latents.py --dataset_config G:/samples/musubi-tuner/_ryuko_matoi_wan14b_config.toml --vae G:/samples/musubi-tuner/wan14b/vae/wan_2.1_vae.safetensors

• cache_prompts (t_enc):

python wan_cache_text_encoder_outputs.py --dataset_config G:/samples/musubi-tuner/_ryuko_matoi_wan14b_config.toml --t5 G:/samples/musubi-tuner/wan14b/tenc/models_t5_umt5-xxl-enc-bf16.pth --batch_size 16 

• 데이터셋 구성 파일 (수동으로 작성하지 않았고, 이미지 폴더를 스캔하여 각 이미지의 최대 차원이 720px를 넘지 않도록 비율을 유지하며 16으로 나누어 떨어지는 크기로 스케일링하는 작은 스크립트를 작성했습니다. 실제로 이미지를 리사이징하지 않고, musubi-tuner의 버킷 메커니즘을 위해 사전 준비만 수행한 후, 같은 크기의 이미지를 하위 폴더로 그룹화하고 musubi-tuner용 메타데이터 YAML 파일을 생성했습니다):

[general]
caption_extension = ".txt"
batch_size = 1
enable_bucket = true
bucket_no_upscale = false

[[datasets]]
resolution = [528, 768]
image_directory = "H:/datasets/ryuko_matoi_wan_video/1057x1516x1"
cache_directory = "H:/datasets/ryuko_matoi_wan_video/1057x1516x1/cache"
num_repeats = 2

[[datasets]]
resolution = [768, 432]
image_directory = "H:/datasets/ryuko_matoi_wan_video/1280x720x1"
cache_directory = "H:/datasets/ryuko_matoi_wan_video/1280x720x1/cache"
num_repeats = 2

[[datasets]]
resolution = [592, 768]
image_directory = "H:/datasets/ryuko_matoi_wan_video/1600x2033x1"
cache_directory = "H:/datasets/ryuko_matoi_wan_video/1600x2033x1/cache"
num_repeats = 2

[[datasets]]
resolution = [400, 768]
image_directory = "H:/datasets/ryuko_matoi_wan_video/1727x3264x1"
cache_directory = "H:/datasets/ryuko_matoi_wan_video/1727x3264x1/cache"
num_repeats = 2

[[datasets]]
resolution = [720, 768]
image_directory = "H:/datasets/ryuko_matoi_wan_video/1917x2002x1"
cache_directory = "H:/datasets/ryuko_matoi_wan_video/1917x2002x1/cache"
num_repeats = 2

[[datasets]]
resolution = [768, 432]
image_directory = "H:/datasets/ryuko_matoi_wan_video/1920x1080x1"
cache_directory = "H:/datasets/ryuko_matoi_wan_video/1920x1080x1/cache"
num_repeats = 2

[[datasets]]
resolution = [736, 768]
image_directory = "H:/datasets/ryuko_matoi_wan_video/1920x1963x1"
cache_directory = "H:/datasets/ryuko_matoi_wan_video/1920x1963x1/cache"
num_repeats = 2

[[datasets]]
resolution = [480, 768]
image_directory = "H:/datasets/ryuko_matoi_wan_video/1920x3038x1"
cache_directory = "H:/datasets/ryuko_matoi_wan_video/1920x3038x1/cache"
num_repeats = 2

[[datasets]]
resolution = [768, 576]
image_directory = "H:/datasets/ryuko_matoi_wan_video/2363x1813x1"
cache_directory = "H:/datasets/ryuko_matoi_wan_video/2363x1813x1/cache"
num_repeats = 2

[[datasets]]
resolution = [768, 624]
image_directory = "H:/datasets/ryuko_matoi_wan_video/3877x3208x1"
cache_directory = "H:/datasets/ryuko_matoi_wan_video/3877x3208x1/cache"
num_repeats = 2

[[datasets]]
resolution = [640, 768]
image_directory = "H:/datasets/ryuko_matoi_wan_video/690x820x1"
cache_directory = "H:/datasets/ryuko_matoi_wan_video/690x820x1/cache"
num_repeats = 2

[[datasets]]
resolution = [576, 768]
image_directory = "H:/datasets/ryuko_matoi_wan_video/690x920x1"
cache_directory = "H:/datasets/ryuko_matoi_wan_video/690x920x1/cache"
num_repeats = 2

[[datasets]]
resolution = [512, 768]
image_directory = "H:/datasets/ryuko_matoi_wan_video/800x1195x1"
cache_directory = "H:/datasets/ryuko_matoi_wan_video/800x1195x1/cache"
num_repeats = 2

[[datasets]]
resolution = [768, 496]
image_directory = "H:/datasets/ryuko_matoi_wan_video/935x608x1"
cache_directory = "H:/datasets/ryuko_matoi_wan_video/935x608x1/cache"
num_repeats = 2

• 샘플링 파일:

# prompt 1
Ryuko-chan with blonde hair is walking on the beach, camera zoom out.  --w 384 --h 384 --f 45 --d 7 --s 20

# prompt 2
Ryuko-chan dancing in the bar. --w 384 --h 384 --f 45 --d 7 --s 20

• 학습 명령:

accelerate launch --num_cpu_threads_per_process 1 --mixed_precision bf16 wan_train_network.py ^
    --task t2v-14B ^
    --dit G:/samples/musubi-tuner/wan14b/dit/wan2.1_t2v_14B_bf16.safetensors ^
	--vae G:/samples/musubi-tuner/wan14b/vae/wan_2.1_vae.safetensors ^
	--t5 G:/samples/musubi-tuner/wan14b/tenc/models_t5_umt5-xxl-enc-bf16.pth ^
	--dataset_config G:/samples/musubi-tuner/_ryuko_matoi_wan14b_config.toml ^
	--sdpa ^
	--mixed_precision bf16 ^
	--fp8_base ^
	--fp8_t5 ^
    --optimizer_type adamw8bit ^
	--learning_rate 7e-5 ^
	--gradient_checkpointing ^
    --max_data_loader_n_workers 2 ^
	--persistent_data_loader_workers ^
    --network_module networks.lora_wan ^
	--network_dim 32 ^
	--network_alpha 32 ^
    --timestep_sampling shift ^
	--discrete_flow_shift 3.0 ^
    --max_train_epochs 50 ^
	--save_every_n_epochs 1 ^
	--seed 42 ^
    --output_dir G:/samples/musubi-tuner/output ^
	--output_name ryuko_matoi_wan14b ^
	--log_config ^
	--log_with tensorboard ^
	--logging_dir G:/samples/musubi-tuner/logs ^
	--sample_prompts G:/samples/musubi-tuner/_ryuko_matoi_wan14b_sampling.txt ^
	--save_state ^
	--sample_every_n_epochs 1

학습 중 속도는 약 4초/스텝이며, VRAM 사용량은 약 21GB였습니다. --fp8_base 및 --fp8_t5 플래그 외에는 특별한 최적화를 적용하지 않았습니다.

다른 LoRA들과의 호환성 테스트는 수행하지 않았고, 향후 계획도 없습니다.

또한, I2V 모델과의 테스트도 하지 않았습니다(실제로 아직 다운로드조차 하지 않았습니다).

(그리고, 저는 LoRA와 함께 데이터셋도 공개했습니다. 그러나 특별히 주목할 만한 내용은 없습니다.)

결론

이것은 제가 Wan Video 2.1-T2V 14B를 위한 첫 번째(성공적인) LoRA입니다. 이 모델에 대해 매우 흥분되고 있습니다. 학습하는 과정이 즐거웠으며, 제 현재의 제한된 경험을 기준으로 볼 때, 이 모델은 개념과 스타일을 뛰어나게 이해하고 있습니다. 계획한 모든 LoRA를 학습하는 것이 기다려지지 않습니다! 지금까지 저는 스타일을 위한 생성형 AI 모델만 학습해왔지만, 이제 스타일뿐 아니라 VFX, 개념, 움직임 등도 학습하는 데 매우 열정적이게 되었습니다.

이 LoRA에 돌아와서, 완벽하다고는 말할 수 없지만, 제가 생성한 3개의 클립 중 1개는 성공적입니다(즉, 프롬프트를 준수하고 부정적인 아티팩트가 없습니다). 이는 성공으로 간주합니다. 이 성과는 모델 자체에 기인한다고 생각합니다. 제가 LoRA를 이미지만으로 학습시켰지만(향후 LoRA에서는 비디오 클립도 사용할 예정입니다), 이 모델은 원작 시리즈의 애니메이션 기법과 시각적 특징을 많이 학습(또는 추론)했습니다. 예를 들어, 야외 장면에서의 과도한(항상 적절하지는 않은 xD) 렌즈 플레어 사용, 과장된 얼굴 애니메이션 등이 포함됩니다.

또한 이 모델은 다양한 데이터셋(최소 100장 이상의 이미지)과 낮은 학습률(1e-4는 너무 높음)의 혜택을 받는다고 생각합니다. 다음 LoRA에서는 학습률을 5e-5 이하로 설정할 예정입니다. 더 많은 스텝이 필요할 수 있지만, 이 경우 과적합 없이 모든 세부 사항을 더 잘 학습합니다.