The Tale of the Princess Kaguya 🎥 Wan2.1-T2V-14B

개요

공주 가구야의 이야기(2013년)는 이사무 타카하타가 일본에서 가장 오래된 전설인 대나무 절단자 이야기를 아름답게 재해석한 작품이다. 이 이야기는 겸손한 대나무 절단자와 그의 아내가 대나무 속에서 아기로 발견한 천상의 존재를 중심으로 전개된다. 그녀가 아름다운 젊은 여인으로 성장하면서, 그녀는 귀족 사회의 엄격한 기대에 저항하면서도 단순한 시골에서의 자유로운 삶을 갈망한다. 이 영화는 정체성, 자유, 그리고 삶의 유한함에 대한 질문을 탐구하며, 우리가 삶에서 진정으로 무엇을 원하는지, 그리고 진정한 행복을 찾을 수 있는지에 대한 깊이 있는 성찰을 선사한다.

이 영화가 진정으로 특별한 이유는 고전적인 일본 수묵화와 목판화에서 영감을 받은 비범한 시각적 스타일 때문이다. 타카하타는 때로는 미완성처럼 보일 정도의 최소한의 수작업 드로잉 스타일을 의도적으로 선택했으며, 이러한 거친 질감이 오히려 관객을 이야기 속으로 더 깊이 빨아들인다. 수채화 배경은 부드럽고 꿈같으며, 캐릭터 애니메이션은 서예적 선으로 구성되어 감정에 따라 유동적으로 변화한다. 평온한 장면에서는 부드럽고 흐르는 선을, 강렬한 감정 장면에서는 날카롭고 불규칙한 선을 사용한다. 이 예술적 선택은 단순히 아름답게 보이는 것을 넘어서, 수백 년간 이어져 온 일본 미술 전통과 연결하면서도 우리가 익숙하게 보아온 정교하고 컴퓨터로 완벽하게 제작된 애니메이션에서 벗어난다. 타카하타가 불완전함을 수용하고 관객의 상상력이 공백을 채우도록 허용하는 방식에는 강력한 힘이 있다. 결과적으로 이 영화는 고대적이면서도 완전히 신선하게 느껴지며, 폭넓은 비평가들의 찬사를 받으며 역사상 가장 훌륭한 애니메이션 영화 중 하나로 자리 잡았다.

설명

이 LoRA는 Redline과 마찬가지로, 단순한 정적 프레임으로는 완전히 표현할 수 없는 애니메이션 스타일의 연속을 이어간다. 또한, Wan의 기본 3D 렌더링 편향에서 벗어나 2D 수작업 애니메이션 스타일로 완전히 대체하려는 시도를 하였다(완전히 성공하지는 못했음). 목표는 시각적 미학뿐 아니라 움직임, 속도, 구도, 그리고 전체적인 에너지까지 전환하는 것이었다. 물론, 이 모든 것을 단 하나의 작은 LoRA로 Achieve하는 것은 불가능하다.

🙂 그러나 이 모델은 예상보다 훌륭하게 스타일을 학습했다. 공주 가구야의 이야기 스타일의 특징들을 잘 복사해냈다: 단순화된 풍경, 여백의 지혜로운 활용, 수묵화 스타일, 미완성 회화의 효과, 옷감의 곡선, 감정의 표현, 움직임과 정지, 그리고 미니멀리즘. 이 모델은 진정한 풍경과 인물뿐 아니라 미래, 중세, 현대 등 다양한 시대의 장면들도 잘 묘사했다.

🙁 그러나 테스트 중에만 발견하고 수정하지 못한 하나의 불편한 결함이 있다. 일부 영상에서 특정 물체에 이상한 반사광이 나타난다. 이 효과는 이전 체크포인트(예: 15K-19K 단계)에서도 나타났기 때문에, 과적합이 아니다(LoRA는 특정 구조의 프레임 존재에 대한 편향이 없으며, 이는 과적합의 징후가 된다. 데이터셋의 캡션은 프롬프트로 사용되며, 원본 데이터셋과 완전히 다른 영상을 생성할 수 있다). 최적화 기능(Sage Attention 등)을 비활성화하거나 샘플링 파라미터를 조정해도 큰 도움이 되지 않는다. LoRA 강도를 낮추면 이 효과는 줄어들지만, 목표 스타일에서 더 멀어진다. 나는 일부 LoRA 블록을 비활성화하여 이 효과를 제거하려 했지만, 성공하지 못했다.

이 효과의 가장 나쁜 점은 완전히 예측 불가능하다는 것이다. 나는 그 원인이 무엇인지 이해하지 못해 기분이 좋지 않다. 내 최선의 추측은, 이 스타일에 내재된 암묵적인 패턴(예: 거의 그림자가 없는 부드럽고 확산된 조명)이, 데이터셋에 존재하지 않는 일부 대상에 대해 모델이 보간하고 재현하려다 제대로 구현되지 않아 발생하는 것 같다. 공주 가구야의 이야기 스타일의 특징상, 강한 방향성 조명(태양 반사, 블룸, 반사광 등)을 보여주는 예제가 데이터셋에 부족하기 때문이다. 따라서 조명 출처를 암시하는 장면을 프롬프트로 입력하면, 모델은 학습된 표현과 사전 지식 사이의 모순에 직면하며, 부드러운 광채, 가장자리 블룸, 혹은 희미한 반사광 같은 시각적 요소를 '환상'한다.

⌛ 만약 이 효과의 확실한 원인을 발견한다면, LoRA를 다시 학습하거나 캘리브레이션 후처리를 수행할 계획이다. 그러나 이 모델 작업은 길고 피로한 과정이었고, 현재는 또 다른 2~3주간의 무의미한 실험을 감당할 여유가 없다.

사용법

프롬프트에 "Kaguya-hime style"을 추가하세요. 트리거 단어 없이도 작동할 수 있겠지만, 저는 항상 추가하며, 트리거 없이 사용했을 때의 동작은 테스트해보지 않았기 때문에 정확히 어떻게 작동하는지는 모릅니다.

저는 Kijai의 래퍼를 사용하지만, 네이티브 워크플로우에서도 작동할 것입니다.

모든 영상은 기본 WanVideo2.1-14B-T2V 모델을 사용해 생성되었으며, 각 영상에는 포함된 ComfyUI 워크플로우가 내장되어 있습니다.

워크플로우의 JSON 예시는 여기에서 확인할 수 있습니다.

데이터셋

데이터셋은 공주 가구야의 이야기 영화에서 추출했다. PySceneDetect를 사용해 분할한 후, 클립을 16fps로 변환하고 수동으로 295개를 선정했다. 더 나은 결정이었을 것은 이것을 줄이는 것(100~150개로)이었겠지만, 이 많은 클립의 수는 다양성 있는 데이터셋일 때만 정당화된다. 내 경우에는 더 적게 선택할 수 없었다: 각 클립이 하나의 예술 작품이었고, 어떤 것을 남기고 어떤 것을 버릴지 결정하기가 어렵기 때문이다. 또한, 이 영상들에서 ffmpeg를 사용해 약 1000개의 프레임을 추출하고, 그 중에서 수동으로 240개의 이미지를 선정하여 고해상도 이미지 데이터셋을 구성했다.

데이터셋 구조는 원본 데이터가 학습된 방식(공식 WanVideo 보고서에 따르면)을 모방하려 했다. 이는 720p, 480p, 192p 해상도의 영상과 이미지를 포함했다. 이에 따라:

1️⃣ 데이터셋의 첫 번째 부분은 255개의 이미지로, 소스 해상도는 1920x1040, 학습 해상도는 1328x720px(720p)이다.

이미지는 다음 프롬프트를 사용해 Qwen2.5-VL-7B-Instruct로 캡션을 작성했다:

당신은 전문적인 시각 장면 묘사자입니다.
다음 애니메이션 프레임(비디오 장면에서 추출한 정지 화면)에 대해 다음을 포함하는 자세하고 고도로 묘사적인 캡션을 작성하세요:
- 길이는 약 80~100단어입니다.
- 정확히 "Kaguya-hime style"이라는 문구로 시작합니다.
- 현재시제, 단순하고 간결하며 구체적인 언어를 사용하여 프레임에 보이는 것만 설명합니다.
- 순서는 "주체 → 장면 → 암시된 움직임/분위기"입니다 (예: "Kaguya-hime style, 회색 투닉을 입은 어린 소년이 새벽에 나무 문 옆에 서 있다. 아침 안개가 그 뒤의 갈대 지붕 주변을 휘날린다.").
- 정확한 세부사항 포함 (나이, 성별, 옷 색상, 주요 물체, 환경, 날씨, 시간대).
- 감정적 형용사, 추상적 서사, 스타일 단어는 제외하되, 필수 접두사만 포함합니다.
- 여러 주체가 있는 장면에서는 행동 중인 주요 인물을 중심으로 설명하세요.
다음 템플릿을 사용하세요: "Kaguya-hime style, [선택적 촬영 각도 (클로즈업, 미디엄 샷, 와이드 샷)] of a [시각적 세부사항이 포함된 주체] [자세/정지 위치 또는 부드러운 암시적 동작]. [세부적인 설정]. [미묘한 역동적 요소 또는 분위기 단서 (바람, 떠다니는 꽃잎, 물결치는 물, 등불 빛)으로 정적인 느낌을 피하세요]. [추가적인 시각적 맥락 또는 배경 세부사항]." (예: "Kaguya-hime style, 낡은 회색 기모노를 입은 노년의 장인들이 겸손한 작업장에서 나무 조각을 새기고 있다. 햇빛 속에 떠다니는 가루 입자들. 도구와 나무 자국들이 낮은 테이블 위에 흩어져 있다. 타타미 바닥에 그림자가 길어지고 있다.")

2️⃣ 데이터셋의 두 번째 부분은 295개의 클립으로, 소스 해상도 1920x1040, 학습 해상도 880x480px(480p). 데이터셋 구성에서 다음을 지정했다:

• frame_extraction = "head", target_frames = [13]

  (이 해상도에서 RTX 3090에서 학습 속도를 너무 많이 희생하지 않으면서 확보할 수 있는 최대 프레임 수)

이 부분의 데이터셋도 Qwen2.5-VL-7B-Instruct와 다음 프롬프트를 사용해 캡션을 작성했다 (자세한 캡션을 강조하고 세부사항에 초점):

당신은 전문적인 시각 장면 묘사자입니다.
다음 애니메이션 영상 클립에 대해 다음을 포함하는 자세하고 고도로 묘사적인 캡션을 작성하세요:
- 길이는 약 80~100단어입니다.
- 정확히 "Kaguya-hime style"이라는 문구로 시작합니다.
- 현재시제, 단순하고 간결하며 구체적인 언어를 사용하여 화면에 보이는 것만 설명합니다.
- 순서는 "주체 → 장면 → 움직임/카메라"입니다 (예: "Kaguya-hime style, 흰 기모노를 입은 젊은 여자. 그녀는 달빛이 비추는 대나무 숲을 걷는다. 카메라가 반딧불이 그 주변을 떠다니며 천천히 흔들린다.")
- 카메라 움직임이 보일 경우 포함하세요(팬, 줌, 틸트). 명확한 카메라 움직임이 없다면 주체와 환경의 움직임에 집중하세요.
- 정확한 세부사항 포함 (나이, 성별, 옷 색상, 주요 물체, 환경, 날씨, 시간대, 카메라 움직임).
- 감정적 형용사, 추상적 서사, 스타일 단어는 제외하되, 필수 접두사만 포함합니다.
- 여러 주체가 있는 장면에서는 행동 중인 주요 인물을 중심으로 설명하세요.
- 보이는 모든 움직임(옷깃의 흔들림, 입자 효과, 환경 변화 등)을 강조하세요.
다음 템플릿을 사용하세요: "Kaguya-hime style, [명확한 경우 선택적 촬영 각도] of a [시각적 세부사항이 포함된 주체 설명] [행동/움직임]. [상세한 설정 설명]. [카메라 움직임]. [추가적인 배경 요소 또는 분위기 세부사항]." (예: "Kaguya-hime style, 긴 검은 머리를 가진 젊은 여성이 흰 기모노를 입고 석양의 대나무 숲을 천천히 걷고 있다. 카메라가 그녀를 따라 흔들린다. 황금빛 빛이 흔들리는 대나무 줄기 사이로 스며든다. 낙엽들이 그녀의 앞길에 흩어져 있다.")

3️⃣ 세 번째 부분은 동일한 295개의 비디오를 사용했으며, 학습 해상도는 352x192px(192p). 사용할 수 있는 최대 프레임 수는 49개였다. 이 비디오는 세 그룹으로 나누어졌다:

• 34~49 프레임: target_frames = [33], frame_extraction = "uniform", frame_sample = 2
• 50~100 프레임: target_frames = [49], frame_extraction = "uniform", frame_sample = 2
• 101~160 프레임: target_frames = [49], frame_extraction = "uniform", frame_sample = 3

이 부분의 데이터셋도 Qwen2.5-VL-7B-Instruct와 다음 프롬프트(간결한 캡션을 강조하고 세부사항에 집중하지 않음)를 사용해 캡션을 작성했다:

당신은 우아하고 수묵화 스타일의 애니메이션 영상 클립을 위한 전문적인 시각 장면 묘사자입니다. 다음 템플릿에 따라 한 문장의 캡션을 작성하세요(15~30단어):
"Kaguya-hime style, [주요 주체] [행동/움직임 또는 상태] in/on [배경 요소를 포함한 특정 장소], with [생동감 있는 세부사항: 색상, 조명, 날씨, 분위기], during [시간대 또는 맥락에 맞는 시간적 설명]."
예시: "Kaguya-hime style, 외로운 사무라이가 안개 낀 대나무 숲을 거닐며, 달빛이 부드러운 그림자를 드리우고, 고요한 자정에 타임리스한 수묵화의 평온함을 느낀다."
요구사항:
- 주요 주체 식별 (예: 인물, 동물, 물체).
- 주요 행동, 움직임 또는 상태 기술 (생동감 있는 동사나 형용사 사용).
- 배경 요소를 포함한 설정 명시 (예: 숲, 강, 건축물, 또는 최소화된 추상적 모티프).
- 풍부한 시각적 세부사항 포함 (예: 반짝이는 달빛, 생동감 있는 색채, 안개 낀 공기).
- 시간대 명시 (예: 새벽, 황혼) 또는 적절한 시간적 맥락 (예: 판타지 장면에 대한 "영원한 밤").
- 명확한 주체나 시간이 없는 경우, 생동감 있는 설정과 분위기에 집중.
- 캡션은 간결하고 생동감 있으며 자연스럽게 흐르도록 하세요.

모든 캡션은 수동으로 검토했고(많은 수정이 필요했다). 일부 캐릭터는 명시적으로 태그했다("Takenoko", "Menowarawa", "Sutemaru"), 그러나 단지 재미로 한 것이며, 이 태그를 사용한다고 해서 정확한 캐릭터가 재현된다는 보장은 없다. 사실, 스타일 LoRA를 위한 캐릭터 캡션으로서 이는 이상적인 방법이 아니다. 더 나은 접근법은 프레임에서 캐릭터가 유일한 주체일 때만 태그하는 것이다. 그러나 이번에는 주로 '평균화된' 스타일을 재현하려 했고, 특정 캐릭터를 재현하려는 의도가 없었기 때문에 이 방법으로 충분했다.

🗃️ 아래는 데이터셋 구성의 전체 toml 파일입니다(참고: 데이터셋의 두 번째 부분—480p 영상—도 구성에서 세 부분으로 나뉘어져 있지만, 이 모든 섹션의 파라미터는 동일하며, 이는 192p 버전의 클립이 이미 세 그룹(34-49, 50-100, 101-160 프레임)으로 분류되어 있었고, 480p 버전에서도 동일한 폴더 구조를 재사용하여 일관성과 데이터 관리의 편의성을 높이기 위함입니다):

[general]
enable_bucket = true
bucket_no_upscale = true

[[datasets]]
image_directory = "H:/datasets/princess_kaguya/images/1920x1040/1"
cache_directory = "H:/datasets/princess_kaguya/images/1920x1040/1/cache_highres"
caption_extension = ".highres"
resolution = [1328, 720]
batch_size = 1
num_repeats = 1

[[datasets]] video_directory = "H:/datasets/princess_kaguya/videos/1920x1040/34-49" cache_directory = "H:/datasets/princess_kaguya/videos/1920x1040/34-49/cache_mediumres" caption_extension = ".mediumres" resolution = [880, 480] batch_size = 1 num_repeats = 1 frame_extraction = "head" target_frames = [13]

[[datasets]] video_directory = "H:/datasets/princess_kaguya/videos/1920x1040/50-100" cache_directory = "H:/datasets/princess_kaguya/videos/1920x1040/50-100/cache_mediumres" caption_extension = ".mediumres" resolution = [880, 480] batch_size = 1 num_repeats = 1 frame_extraction = "head" target_frames = [13]

[[datasets]] video_directory = "H:/datasets/princess_kaguya/videos/1920x1040/101-160" cache_directory = "H:/datasets/princess_kaguya/videos/1920x1040/101-160/cache_mediumres" caption_extension = ".mediumres" resolution = [880, 480] batch_size = 1 num_repeats = 1 frame_extraction = "head" target_frames = [13]

[[datasets]] video_directory = "H:/datasets/princess_kaguya/videos/1920x1040/34-49" cache_directory = "H:/datasets/princess_kaguya/videos/1920x1040/34-49/cache_lowres" caption_extension = ".lowres" resolution = [352, 192] batch_size = 1 num_repeats = 1 frame_extraction = "uniform" target_frames = [33] frame_sample = 2

[[datasets]] video_directory = "H:/datasets/princess_kaguya/videos/1920x1040/50-100" cache_directory = "H:/datasets/princess_kaguya/videos/1920x1040/50-100/cache_lowres" caption_extension = ".lowres" resolution = [352, 192] batch_size = 1 num_repeats = 1 frame_extraction = "uniform" target_frames = [49] frame_sample = 2

[[datasets]] video_directory = "H:/datasets/princess_kaguya/videos/1920x1040/101-160" cache_directory = "H:/datasets/princess_kaguya/videos/1920x1040/101-160/cache_lowres" caption_extension = ".lowres" resolution = [352, 192] batch_size = 1 num_repeats = 1 frame_extraction = "uniform" target_frames = [49] frame_sample = 3

(전체 소스 데이터셋도 업로드했습니다.)

### **학습**

학습에는 [musubi-tuner](https://github.com/kohya-ss/musubi-tuner)를 사용했습니다(Windows 11, 64GB RAM, RTX 3090).

학습 매개변수 자체에는 특별히 흥미로운 점이 없으며, 대부분 [Studio Ghibli LoRA](https://civitai.com/models/1404755/studio-ghibli-style-wan21-t2v-14b)에서 가져왔습니다.

🗃️ 아래는 학습을 시작하기 위해 사용한 배치 스크립트의 예시입니다:

accelerate launch --num_cpu_threads_per_process 1 --mixed_precision fp16 wan_train_network.py ^ --task t2v-14B ^ --vae G:/samples/musubi-tuner/wan14b/vae/wan_2.1_vae.safetensors ^ --t5 G:/samples/musubi-tuner/wan14b/tenc/models_t5_umt5-xxl-enc-bf16.pth ^ --dit E:/ComfyUI_windows_portable/ComfyUI/models/diffusion_models/wan/wan2.1_t2v_14B_fp16.safetensors ^ --blocks_to_swap 15 ^ --flash_attn ^ --mixed_precision fp16 ^ --fp8_base ^ --fp8_scaled ^ --dataset_config G:/samples/musubi-tuner/_kaguya_wan14b_dataset.toml ^ --gradient_checkpointing ^ --max_data_loader_n_workers 2 ^ --persistent_data_loader_workers ^ --learning_rate 6e-5 ^ --lr_scheduler constant_with_warmup ^ --lr_warmup_steps 100 ^ --optimizer_type adamw8bit ^ --optimizer_args weight_decay=0.01 ^ --network_module networks.lora_wan ^ --network_dim 32 ^ --network_alpha 32 ^ --timestep_sampling shift ^ --discrete_flow_shift 3.0 ^ --output_dir G:/samples/musubi-tuner/output ^ --output_name kaguya_wan14b ^ --log_config ^ --log_with all ^ --wandb_api_key MY_WANDB_API_KEY ^ --wandb_run_name kaguya ^ --logging_dir G:/samples/musubi-tuner/logs ^ --sample_prompts G:/samples/musubi-tuner/_kaguya_wan14b_sampling.txt ^ --save_state ^ --sample_every_n_steps 500 ^ --save_every_n_steps 500 ^ --max_train_epochs 50

학습은 42,000단계까지 진행했으며, 이후 여러 체크포인트를 실험하여 34,000단계의 체크포인트를 최종적으로 선택했습니다. 손실 값에는 별로 신경 쓰지 않았습니다(학습 샘플들이 긍정적인 동향을 보였고, 이는 모델이 데이터를 암기하지 않고 효과적으로 학습하고 있음을 확인시켜 주었고, 이는 손실 값보다 더 중요했습니다). 다만, 학습 기간 동안 손실은 약 0.1에서 0.09로 안정적으로 감소하며, 과적합의 징후 없이 일관된 수렴을 보였습니다.

P.S. 최종 LoRA 가중치를 작은 합성 데이터셋으로 사후 세밀 조정하여 처음에 언급된 문제를 완화하려고 시도했지만, 이 방법은 효과가 없었고 오히려 모델 성능을 저하시켰습니다.