Redline 🎥 Wan2.1-T2V-14B

이 LoRA는 _OpenMuse_에서 특집된 것으로, 오픈소스 비디오 LoRA 및 이를 통해 가능해진 창작 작품에 전념하는 선별된 이니셔티브입니다. Wan2.1, LTX-Video, HunyuanVideo와 같은 모델에 초점을 맞춘 _OpenMuse_는 생태계 전반에서 우수한 도구와 예술 작품을 소개합니다. Banodoco 커뮤니티를 기반으로 하는 _OpenMuse_는 오픈하고 협업적인 AI 예술을 위한 성장 중인 공간으로, 창작자를 영감 주고 호기심을 자극하며, AI 생성 예술에 회의적인 사람에게도 자랑스럽게 공유하고 싶은 작품을 제공하도록 설계되었습니다.

설명

_Redline_은 타케시 코이케가 감독하고 마도하우스가 제작한 2009년 애니메이션 영화입니다. 이 영화는 불량한 성격을 지닌 레이서 JP와 그의 경쟁자이자 eventual 동맹인 소노시 마클레난이 은하계에서 가장 위험하고 명예로운 경주인 'Redline'에 출전하는 이야기를 중심으로 전개됩니다. 이 영화는 완전히 수작업으로 그려진 애니메이션으로 유명하며, 제작 기간은 7년에 달했습니다. 강렬하고 고에너지의 스타일과 정교한 시각적 요소는 이전의 걸작인 <아키라>와 비교되며, 기술적 우수성과 역동적인 스토리텔링에 대한 동일한 헌신을 반영합니다.

이 영화는 제가 평생 가장 좋아하는 애니메이션 중 하나이며, 이 LoRA는 그 애니메이션 스타일을 재구성한 첫 시도입니다. 이 LoRA를 제작한 다른 목표는:

- 트레이닝 파이프라인을 최적화하는 것. 특히 한 LoRA를 학습하는 데 90시간이나 걸리지 않도록 😅

- Wan의 움직임 능력을 연구하고 확장하는 것

두 번째 목표를 해결하는 데 저는 많은 시간(아마도 너무 많이)을 보냈지만, 크게 성공하지 못했습니다(예상한 대로, 작은 LoRA 하나로 모든 것을 달성할 수는 없었습니다). 그러나 Redline의 예술 스타일은 비교적 잘 전달되었습니다. 카메라 움직임, 각도, 빠른 동작 등은 완전히 구현되지 않았고, 적어도 제가 원한 정확도에는 도달하지 못했습니다. 전반적으로 저는 LoRA의 3가지 변형을 학습했고, 모두에 80시간 이상을 소비했습니다. 마침내 제3차 반복 이후 학습을 중단하기로 결정했습니다. 완벽함에 도달하지 못해 너무 부끄러워졌고, 무한히 재학습을 시도하며 정확히 무엇이 문제인지 파악하지 못하는 것보다 나중에 이 모델을 다시 돌아보는 것이 더 나을 것이라 생각했기 때문입니다.

사용법

이 LoRA는 각 캡션의 시작에 "Redline style"이라는 단어로 학습되었습니다. 또한, 전설적인 Redline의 가속 효과를 강조하기 위해 "kinetic-deformed"라는 용어를 사용하고 해당 장면에 캡션을 달았습니다. 이 용어는 데이터셋에 이 효과가 포함된 장면이 단 3개뿐이므로 실제 장면에 영향을 주지 않을 가능성이 높습니다(아마도 플레이스보홀일 것입니다). 그러나 이 단어가 멋있어 보이기 때문에, 빠른 주행 움직임과 관련된 프롬프트에는 보통 이 용어를 포함시킵니다.

이 LoRA는 프롬프트에 매우 의존적이며, 아직도 그 잠재력을 최대한 끌어내기 위한 최적의 프롬프트 템플릿을 찾기 위해 작업 중입니다. 아래는 비교적 정확한 결과를 생성할 수 있는 템플릿입니다(마지막 줄을 원하는 주제로 교체하세요):

당신은 AI 비디오 생성 모델을 위한 고급 프롬프트 생성기입니다. 목표는 Redline 애니메이션 영화의 스타일로 비디오 클립을 생성하기 위한 생동감 있고 영화적인, 매우 상세한 프롬프트를 만드는 것입니다.

프롬프트 규칙:
- 모든 프롬프트는 "Redline style."으로 시작해야 합니다.
- 명확하고 단순하며 직접적이고 간결한 언어를 사용하세요. 은유, 과장, 비유적 표현, 주관적 수식어는 사용하지 마세요(예: "야수 같은", "숨이 멎을 듯한" 등 사용 금지).
- 프롬프트 길이: 80–100단어.
- 다음 구조를 따르세요: 장면 + 주체 + 동작 + 구성 + 카메라 움직임

1. 장면(환경 설명)
환경 유형을 설정하세요: 도시, 자연, 초현실 등. 시간대, 날씨, 보이는 배경 사건이나 분위기를 포함하세요. 관점이나 감정은 포함하지 말고, 단지 시각적으로 보이는 것만 설명하세요.

2. 주체(세부 설명)
신체적 특징, 외모, 복장만 설명하세요. 생동감 있는 단어를 최소한으로 사용하세요(예: "바이커", "메커니즘" 같은 직업은 금지). 과도하거나 화려한 디테일은 피하세요.

3. 동작(주체와 환경의 움직임)
단 하나의 명확한 주체 또는 환경 상호작용만 지정하세요. 5초 안에 시각적으로 확인 가능한 것만 설명하세요.

4. 구성 및 시점(프레임)
다음 중 선택: 클로즈업 | 미디엄 쇼트 | 와이드 샷 | 로우 앵글 | 하이 앵글 | 오버헤드 | 퍼스트퍼슨 | FPV | 버드스아이 | 프로파일 | 극단적 롱샷 | 에어리얼

5. 움직임(영화적 움직임)
다음 중 사용: 돌리 인 | 돌리 아웃 | 줌 인 | 줌 아웃 | 틸트 업 | 틸트 다운 | 팬 왼쪽 | 팬 오른쪽 | 팔로우 | 180도 회전 | 360도 회전 | 풀백 | 푸시인 | 다운스 | 어센드 | 360도 오비트 | 하이퍼랩스 | 크레인 오버 | 크레인 언더 | 레비테이트
카메라가 어떻게 움직이고 무엇을 캡처하는지 명확히 설명하세요. 조명, 분위기, 입자 효과(먼지, 네온 반사, 비 등), 필요 시 색상 팔레트에 집중하세요. 감정적이지 않고 시각적으로 묘사하세요. 각 움직임 또는 카메라 동작은 간결하게 유지하고, 각각 약 5초의 비디오를 나타내세요. 강렬한 시각적 "Redline" 애니메이션 미학을 유지하세요: 대담하고 생동감 있으며 에너지가 넘치는 유동적인 애니메이션 느낌을 주세요.

5살짜리 예술가에게 지시하는 것처럼 단순한 프롬프트를 사용하세요.

이제 Redline 세계관에서 표현력이 풍부하고 위험한 여성 10명의 클로즈업 장면을 만들어보세요.

일부 기능이 블리드할 수 있습니다(예: 여성 캐릭터가 때때로 JP의 폼파두르 헤어스타일을 가질 수 있음). 그러나 저는 스타일 LoRA를 만들고자 했기 때문에 처음부터 이 점을 무시했습니다(물론 폼파두르 헤어스타일을 가진 여성은 매우 멋져 보입니다 😙). 대부분의 경우, 특정 외모 특징을 명시하지 않고 남성 또는 여성으로 프롬프트를 주면 JP 또는 소노시가 등장할 가능성이 높습니다.

워크플로우는 각 mp4 파일 내에 내장되어 있습니다. 아래는 JSON 형식의 워크플로우 예시입니다: https://files.catbox.moe/31mpay.json.

이전과 마찬가지로, RTX 3090에서 640x480x81 클립을 약 5분 안에 렌더링할 수 있도록 TeaCache를 포함한 여러 최적화 기법을 사용했습니다. 제 의견으로는, TeaCache가 일반적으로 여겨지는 것처럼 애니메이션의 움직임을 그렇게 심하게 손상시키지 않습니다(저는 애니메이션만 다루었으며, Wan으로 사실적인 비디오를 생성한 적이 없으므로 그것에 대해서는 말할 수 없습니다). 네, 품질이 약간 떨어지긴 하지만, TeaCache를 켜면 클립이 나쁘다면 끄면 좋아지지는 않습니다. 빠른 전환과 급격한 움직임은 TeaCache를 켜든 끄든 여전히 실패와 성공이 반복됩니다.

다른 LoRA 및 I2V 체크포인트와의 호환성은 테스트되지 않았습니다.

학습

대부분 이전 LoRA에서 사용한 프로세스를 재사용했습니다. 즉, 다양한 해상도와 지속 시간 버킷을 가진 이미지와 비디오를 혼합하여 학습했습니다. musubi-tuner를 사용했습니다(Windows 11, RTX 3090, 64GB RAM). 저는 학습 파이프라인을 최적화하고 정제했으며, 다른 창작자들의 실습(특히 blyss의 자세한 통찰과 blip의 유용한 팁)을 참고했습니다. 이전 LoRA의 학습 파이프라인과 비교해, 지금은 학습 속도가 거의 3배 빠르게 개선되어 RTX 3090에서 한 번의 반복이 약 5초(이전에는 12-13초) 걸렸습니다. 새 파라미터 덕분에 이전 LoRA도 90시간이 아니라 30시간 만에 학습할 수 있었습니다. 멋지죠.

(모든 학습 데이터와 학습 구성 파일을 LoRA와 함께 업로드했으니 원하시면 확인하실 수 있습니다.)

전반적으로 가장 중요한 변경 사항은 다음과 같습니다:

• fp16 체크포인트(bf16 대신) + fp8_base + fp8_scaled

• 블록 스와핑 없음(최적화된 데이터셋 구조 덕분, 아래 참고 👇)

• CAME 옵티마이저(adamw8bit 대신)

• FlashAttention 학습 가속(sdpa 대신)

• loraplus_lr_ratio=2 사용 + 낮은 학습률(5e-5 대신 3e-5)

데이터셋 관련 주요 변경 사항은 모든 비디오를 별도 지속 시간 버킷으로 분리하여 더 효율적으로 활용한 것이며, 24GB VRAM을 초과하지 않도록 학습 해상도를 낮춰야 했습니다. 전반적인 절차는 다음과 같습니다:

• 원본 영화를 가능한 최고 품질로 확보 — 1864x1048, H.265 17104 Kb/s

• PySceneDetect를 사용해 단편으로 분할

• 맞는 단편을 선정(빠른 비디오 선택 및 탐색을 위한 맞춤형 단순 GUI 사용) — 총 175개 클립

• 16fps로 변환하고 오디오 제거(ffmpeg)

• 고해상도 이미지 데이터셋으로 사용할 키프레임 추출(ffmpeg) — 총 170장 이미지

• 지속 시간 버킷으로 비디오 분할 — 총 28개 폴더(버킷)

• 각 버킷에 최적화된 파라미터로 musubi-tuner용 dataset.toml 구성 파일 생성(아래 참고 👇)

• 이미지에 대한 캡션 생성(아래 참고 👇)

• 비디오에 대한 캡션 생성("이중 캡션" 방식 사용: 전체 장면 설명의 "짧은 버전"과 상세 캡션의 "긴 버전" — 아래 참고 👇)

전체 dataset.toml 파일(약 600줄)은 여기에 표시하지 않겠지만, 핵심 아이디어는 이전 LoRA와 동일한 **"3단계 데이터셋"**이었습니다. 이번에는 블록 스와핑 없이 VRAM에 모두 수용하여 학습 속도를 극대화하고자 했기 때문에 목표 학습 해상도를 낮춰야 했습니다.

• 1: 고해상도 이미지 데이터셋 976x544 — 블록 스와핑 없이 견딜 수 있는 최대치 (Linux나 diffusion-pipe를 사용하면 더 높을 수 있음)

• 2: 중해상도 비디오 데이터셋, 짧은 프레임 지속 시간 512x288x17

• 3: 저해상도 비디오 데이터셋, 최대 프레임 지속 시간 256x144x81

(또한 "2단계 데이터셋"으로 중해상도 짧은 지속 시간 비디오 + 고해상도 이미지를 사용해 학습해 보았지만, 효과가 덜 좋았습니다.)

아래는 이미지 데이터셋(170장)에 사용된 구성 파일의 예시입니다:

[[datasets]]
image_directory = "H:/datasets/redline/images/1864x1048x1"
cache_directory = "H:/datasets/redline/images/1864x1048x1/cache"
resolution = [976, 544]
batch_size = 1
num_repeats = 1
caption_extension = ".txt"

이미지 캡션에는 로컬에서 Ovis2-16B를 단일 이미지 입력 모드로 사용했습니다. 캡션 프롬프트는 다음과 같았습니다:

이 장면을 설명하세요. "이미지"라는 단어를 사용하지 마세요. 장면에 사람이 있다면 성별을 명시적으로 기술하세요. 설명을 "Redline style. "으로 시작하세요.

"제2단계" 데이터셋은 더 낮지만 최저 해상도는 아닌 512x288의 비디오(175개 클립)를 사용했습니다. 실제 지속 시간은 25프레임 이상이었지만, 구성에서 target_frames는 항상 **[17]**로 설정했으며, frame_extraction은 "head"를 사용했습니다. 각 28개 버킷(폴더)에 대해 구성 섹션은 항상 동일했습니다(폴더 이름만 다름):

[[datasets]]
video_directory = "H:/datasets/redline/videos/1864x1048x25"
cache_directory = "H:/datasets/redline/videos/1864x1048x25/cache_s"
resolution = [512, 288]
batch_size = 1
num_repeats = 1
frame_extraction = "head"
target_frames = [17]
caption_extension = ".short"

이 데이터셋에는 "짧은" 캡션 파일이 사용되었습니다. 이 캡션에는 Ovis2-16B를 비디오 입력 모드로 활용했습니다. 캡션 프롬프트는 다음과 같았습니다:

이 장면을 간략히 설명하세요. 장면에 사람이 있다면 성별을 명시적으로 기술하세요. 대화하거나 말하는 경우 명시하세요. 주체와 그들의 동작을 먼저 설명하고, 배경과 환경을 이어서 설명하세요. 설명을 "Redline style. "으로 시작하세요.

"제3단계" 데이터셋은 같은 175개 비디오를 사용했지만, 최저 학습 해상도인 256x144를 사용했고, frame_extraction은 "uniform"으로 설정했습니다. 프레임 수가 81을 초과하는 버킷(폴더)에 대해서는 frame_sample을 2로, target_frames를 **[81]**로 설정했습니다. 프레임 수가 81 미만인 버킷에 대해서는 frame_sample을 1로, target_frames를 **[X]**로 설정했습니다(X는 버킷 지속 시간을 4N+1로 나누어 최대한 균등하게 만든 값입니다: 25, 29, 33...)

(네, 모든 내용이 너무 복잡해 보일 수 있습니다. 하지만 물론 저는 이 모든 것을 손으로 계산하지 않았습니다. 적절한 스크립트를 요청했고, Claude가 작성해 주었습니다. 단순히 요구사항을 정확히 명시했을 뿐입니다. 이 절차는 아마도 과도했고, 학습 결과에 원본 데이터셋 자체보다 덜 영향을 미쳤습니다. 왜냐하면 이전의 제가 가장 성공적으로 만든 LoRA는 이러한 조치 없이도 잘 작동했기 때문입니다. 그러나 저는 모든 버킷과 데이터셋 구조를 수동으로 관리하는 것을 선호합니다. 학습 후 데이터셋의 약점들을 파악하는 데 도움이 될 수 있으니까요. 이론상 그렇습니다.)

81프레임 미만의 버킷 폴더 예시:

[[datasets]]
video_directory = "H:/datasets/redline/videos/1864x1048x25"
cache_directory = "H:/datasets/redline/videos/1864x1048x25/cache_l"
resolution = [256, 144]
batch_size = 1
num_repeats = 1
frame_extraction = "head"
target_frames = [25]
caption_extension = ".long"

81프레임 이상의 버킷 폴더 예시:

[[datasets]]
video_directory = "H:/datasets/redline/videos/1864x1048x97"
cache_directory = "H:/datasets/redline/videos/1864x1048x97/cache_l"
resolution = [256, 144]
batch_size = 1
num_repeats = 1
frame_extraction = "uniform"
target_frames = [81]
caption_extension = ".long"
frame_sample = 2

이 데이터셋에는 "긴" 캡션 파일을 사용했습니다. 이 캡션들은 Ovis2-16B를 비디오 입력 모드로 사용하여 다음 캡션 프롬프트를 바탕으로 생성되었습니다(짧은 캡션과 달리, 이번에는 배경을 먼저 묘사하도록 지시했습니다):

이 장면을 자세히 묘사하세요. 장면에 사람이 있다면 성별을 명시적으로 언급하세요. 사람들이 대화하거나 말하고 있다면 명시적으로 기술하세요. 먼저 배경과 환경을 설명한 후, 주체와 그들의 행동을 묘사하세요. 설명은 "Redline style. "으로 시작하세요.

"dual-captioning"에 대해, 동일한 프래그먼트가 두 개의 서로 다른 캡션을 통해 모델에 학습되어야 하므로, 이는 일종의 "캡션 증강"으로 작용하여 잠재적인 과적합에 대응하는 또 다른 방안이라고 기대했습니다. (이 아이디어는 실제로 Seaweed-7B 논문에서 발견했고, 이를 적용하기로 결정했습니다.)

학습은 50에포크(에포크당 573스탭) 동안 수행되었지만, 이후 테스트 결과 16,617스탭(29에포크)의 LoRA가 가장 안정적이고 다양성 있게 작동하는 것으로 나타났습니다(따라서 실제 학습 시간은 약 23시간이었습니다). 참고로, 10에포크(5,730스탭)의 LoRA는 이미 _Redline_의 예술 스타일을 꽤 잘 재현할 수 있었지만, 움직임은 완전히 기본 모델인 Wan에서 유래했고, 저는 이를 받아들일 수 없었습니다.

이 LoRA가 세 번째 버전임을 언급했습니다. 첫 번째 버전은 캡션 품질이 낮았습니다(Gemini가 생성한 최소한의 캡션을 사용했고, 이 캡션들의 품질은 양호했으나, 학습 결과가 마음에 들지 않았습니다. 저는 Wan 모델이 짧은 캡션을 전혀 좋아하지 않는다고 믿습니다). 두 번째 버전은 "듀얼-티어" 데이터셋을 사용했고, 괜찮았지만 충분히 좋지는 않았습니다. 세 번째 버전이 바로 이 버전이며, 여전히 제가 원하는 만큼 완벽하지는 않지만, 제가 말했듯이 제 정신을 지키기 위해 이쯤에서 멈추고 휴식을 취해야겠다고 느꼈습니다. 이 LoRA는 더 나아질 수 있지만, 오히려 더 나빠질 수도 있었죠. 저는 향후 버전에서 테스트할 예정인 LoRA 학습 품질을 개선할 수 있는 몇 가지 아이디어를 여전히 가지고 있습니다.