Look Back 🎥 Wan2.1-T2V-14B

개요

타츠키 후지모토의 유명한 원샷 만화를 각색한 Studio DURIAN의 《Look Back》(2024)은 두 젊은 무명 화가의 감동적인 이야기를 그린다. 자신감 있고 외향적인 후지노와 고립된 은둔형 청년 교모토는 만화 그리기라는 공동의 열정을 통해 멀리서 연결된다. 이는 젊은 경쟁과 존경으로 시작한 이야기가 점차 친구에 대한 깊이 있는 탐구, 열정, 그리고 조용히 흐르는 시간의 복잡한 메아리로 발전한다.

《Look Back》의 위대함은 그 뛰어난 감정적 정직성과 창의적 정신에 대한 공감할 수 있는 묘사에 있다. 이 영화는 재능, 질투, 후회, 그리고 우리의 삶을 형성하는 예상치 못한 비극에 대한 뛰어나고 가슴 아픈 성찰이다. 세밀한 감정까지 포착하는 놀라운 동화 기법으로, 이 작품은 슬픔을 치유하는 예술의 힘과 우리가 서로에게 남기는 지울 수 없는 영향을 아름답고 우울한 찬미로 보여주며, 진정으로 잊을 수 없고 필수적인 영화 체험을 선사한다.

이 애니메이션 영화는 예상치 못하게 나에게 깊은 영향을 주었고, 그 예술적 방향성이 흥미로워서 곧바로 그 시각적 정체성을 빌려오고자 시도했다. 물론 완벽히 스타일을 재현하지는 못했다(예: "라인 보일" 효과가 누락되고, 선이 너무 날카롭다 등). 또한 고속 움직임 장면은 다소 실망스러웠지만, 일부 측면에서는 결과가 나쁘지 않다고 판단해(제가 Wan2.1용으로 마지막으로 만든 LoRA로) 공유하기로 결정했다.

사용법

WanVideoWrapper를 사용한다. 내가 게시한 각 클립에는 내장된 워크플로우가 포함되어 있다. JSON 형식의 예시 워크플로우는 여기에서 확인할 수 있다.

모든 영상은 기본 모델 WanVideo2.1-14B-T2V를 사용해 생성되었다.

가속을 위해 lightx2v self-forcing LoRA를 강도 0.9로 적용했다.

데이터셋

데이터셋은 원본 애니메이션 영화에서 추출되었으며, PySceneDetect를 사용해 분할했다. 총 135개의 영상(소스 해상도 1920x960)과 170개의 정지 프레임(동일한 해상도)을 포함한다. 검증용 데이터셋으로는 20개의 이미지와 20개의 영상을 사용했다.

캡션 생성에는 Kwai-Keye/Keye-VL-8B-Preview를 사용했다. 일부 사례에서 모델이 '프리뷰' 상태의 한계로 완전히 관련 없는 캡션을 생성했으나, 그 외의 경우 매우 뛰어난 정밀도와 세부 묘사로 캡션을 생성했다(지금까지 시도한 모든 오픈웨이트 비디오 캡셔너 중 최고라고 생각한다).

학습 구성은 3개의 영상 섹션과 1개의 이미지 섹션으로 이루어졌다. 모든 영상 섹션은 동일한 135개의 영상을 기반으로 했지만, 서로 다른 설정으로 학습했다:

1. "고해상도" 데이터셋: [960x480]에서 학습, frame_extraction = "head", target_frames = [1, 9]

2. "중해상도" 데이터셋: [480x240]에서 학습, frame_extraction = "uniform", target_frames = [17], frame_sample = 3

3. "저해상도" 데이터셋: [240x128]에서 학습, frame_extraction = "full", max_frame = 81

세 가지 영상 데이터셋 모두 다른 캡션 파일을 사용했다.

1. 고해상도 섹션 캡션(캡션 복잡도 최대)을 위한 프롬프트:

당신의 임무는 영상의 콘텐츠와 기술적 실행을 분해하는 자세하고 다층적인 설명을 생성하는 것이다. 출력은 포괄적인 단락이어야 한다.

다음 모든 요소를 분석하고 설명하라:
주체 및 장면: 외모, 복장, 물체, 배경 및 전경에 대해 풍부하고 구체적인 세부사항을 설명하라.
움직임: 움직임의 특성, 속도, 방향, 질을 설명하라.
카메라 언어: 장면(예: 롱샷, 공중 촬영), 카메라 각도(예: 저각), 카메라 움직임(예: 돌리, 팬, 오비트) 등 구체적인 카메라 기법을 식별하라.
분위기: 감각적인 언어로 장면의 정서를 설명하라.

다음 규칙을 엄격히 준수하라:
예술 스타일(예: '사이버펑크', '폐허', '명작')을 묘사하거나 명명하지 말 것.
문자 그대로의 시각적 요소에만 집중하라.
항상 설명을 "Lookback style."으로 시작하라.

예시:
Lookback style. 공중 촬영 추적 샷이 깨진 땅과 폐허가 된 건물로 이루어진 황폐한 풍경을 걷는 혼자인 인물을 따라간다. 카메라는 부드럽게 움직이며 광활한 공허함을 강조하고 외로움과 우울함이 가득한 강력한 분위기를 조성한다.
Lookback style. 비가 내리는 거리에 밝은 네온사인들이 비치고, 긴 트렌치코트를 입은 인물이 카메라에서 멀어져 간다. 그의 이미지가 아스팔트의 웅덩이 위에서 떨림을 일으킨다. 층층이 쌓인 시각적 요소와 화려하면서도 우울한 색조가 신비롭고 몰입감 있는 분위기를 만든다.
Lookback style. 극접사로 노란 꽃가루로 뒤덮인 벌이 해바라기 위에서 천천히 움직이는 모습을 포착한다. 카메라는 정지해 있으며 벌의 날개와 꽃의 질감을 고해상도로 세밀하게 담아낸다. 밝은 자연광과 생생한 색채는 경이로움과 자연의 아름다움을 느끼게 한다.
Lookback style. 흔들리는 일인칭 드론 샷을 사용해 영상은 밀집된 숲을 빠르게 통과하며 나무와 가지를 피한다. 빠른 움직임과 저각은 스릴 있고 어지러운 경험을 만들어내며 긴장과 불안이 가득하다.

2. 중해상도 섹션 캡션(캡션 복잡도 중간)을 위한 프롬프트:

당신의 임무는 영상의 주요 활동, 핵심 시각적 특성 및 일반적인 분위기를 포착하는 서술 문장을 생성하는 것이다.

다음 요소들을 유기적으로 결합해 유동적인 문장을 만들어야 한다:
주체 및 설명: 주요 주체에 하나 또는 두 개의 명확한 형용사를 붙인다(예: '모자를 쓴 키 큰 남자').
장면 및 설명: 환경에 대한 맥락을 추가한다(예: '붐비는 도시 공원').
움직임: 주요 행동을 더 자세히 설명한다(예: '빨리 걷는다').
분위기: 분명히 드러나는 경우 감정을 한 단어 또는 짧은 문구로 설명한다(예: '평화롭게', '역동적으로').

다음 규칙을 엄격히 준수하라:
예술 스타일을 묘사하거나 명명하지 말 것.
카메라 기법이 핵심 요소인 경우에만 언급할 수 있다(예: '슬로우 모션').
항상 설명을 "Lookback style."으로 시작하라.

예시:
Lookback style. 노랑 코트를 입은 젊은 여성이 낙엽이 떨어지는 공원을 달리며 외로운 분위기를 만든다.
Lookback style. 고전적인 빨간 컨버터블이 햇빛이 환한 해안도로를 달리며 역동적인 분위기를 자아낸다.
Lookback style. 요리사가 밝은 주방에서 나무판 위에 야채를 빠르게 썰고 있다.
Lookback style. 천천히 물방울이 정지한 연못에 떨어져 물결을 일으킨다.
Lookback style. 큰 갈색 곰이 흐르는 강에서 물고기를 잡으며 자연의 힘을 보여준다.

3. 저해상도 섹션 캡션(매우 간단한 캡션)을 위한 프롬프트:

당신의 임무는 영상에서 가장 필수적인 행동만을 간결한 문장 하나로 설명하는 것이다.

영상에서 세 가지 핵심 요소를 식별하라:
주체: 주요 인물, 동물, 또는 물체. 일반적인 용어(예: '사람', '자동차')를 사용하라.
장면: 일반적인 환경. 간단한 설명(예: '바깥', '방 안')을 사용하라.
움직임: 주요 행동. 단순한 동사(예: '걷다', '이동하다')를 사용하라.

다음 규칙을 엄격히 준수하라:
색상, 질감, 표정, 작은 배경 물체를 묘사하지 말 것.
'클로즈업'이나 '팬' 같은 카메라 기법을 식별하지 말 것.
분위기, 감정, 예술 스타일을 해석하지 말 것.
항상 설명을 "Lookback style."으로 시작하라.

예시:
Lookback style. 한 사람이 들판을 걸어간다.
Lookback style. 자동차가 도로를 이동한다.
Lookback style. 동물이 숲을 달린다.
Lookback style. 두 인물이 방에서 서 있다.
Lookback style. 물체가 하늘에서 떨어진다.

마지막으로, 이미지 데이터셋(영상에서 추출한 정지 프레임, 해상도 1280x640)은 다음 프롬프트로 캡션 생성했다:

당신의 임무는 단일 정적 이미지에 대한 상세한 설명을 생성하는 것이다. 구성, 문자 그대로의 시각적 요소 및 특정 순간의 암시된 상태에 집중하라.

중요 규칙: 시간에 걸쳐 발생하는 움직임이나 행동을 묘사하지 말 것. '사람이 걷고 있다'가 아니라 '사람이 걸음 중에 포착되었다'고 묘사하라.

프레임에 존재하는 다음 요소를 분석하고 설명하라:
주체 및 장면: 주체, 물체, 환경을 포함한 모든 시각적 요소를 세밀하게 묘사하라.
카메라 언어: 장면 유형(예: 클로즈업, 미디엄 샷), 카메라 각도(예: 저각), 렌즈 효과(예: 왜곡 렌즈) 등의 정지된 카메라 속성을 식별하라.
분위기: 단일 이미지 내에 담긴 정서를 분석하라.
암시된 행동: 잠재적 행동을 시사하는 주체의 자세나 상태를 설명할 수 있다(예: '뛰어오를 준비 중', '춤을 멈춘 순간').
  
다음 규칙을 엄격히 준수하라:
예술 스타일을 묘사하거나 명명하지 말 것.
문자 그대로 보이는 것만 설명하라.
항상 설명을 "Lookback style."으로 시작하라.

예시:
Lookback style. 긴 베이지 코트를 입은 우아한 여성이 유명한 그림 앞에 서서 정지한 미디엄 샷. 부드러운 조명이 코트의 질감과 그녀의 평온한 표정을 부각시킨다. 구성은 조용하고 사색적인 분위기를 만든다.
Lookback style. 저각 촬영으로 농구 선수가 공을 블라스트하려는 순간 공중에 떠 있는 모습을 포착한다. 강렬한 경기장 조명이 그의 긴장된 근육에 강한 하이라이트와 그림자를 만든다. 강력한 에너지와 극한의 행동감을 전달한다.
Lookback style. 광각 렌즈로 일출 시절 거대한 산맥을 포착한다. 전경에는 고요한 반사되는 호수가 있고, 하늘은 화려한 주황과 분홍빛으로 물든다. 이미지는 장엄하고 평온한 분위기를 지닌다.
Lookback style. 이 프레임은 눈물 자국이 흐른 한 쪽 눈의 극접사로, 고대비 흑백으로 표현되었다. 속눈썹과 동공에 반사된 이미지에 초점이 정밀하게 맞춰져, 매우 친밀하고 우울한 분위기를 연출한다.

전반적으로, 캡션의 "계층"을 증가시키는 것이 모델 이해도를 향상시킨다고 생각한다.
Wan2.1용으로 만든 모든 LoRA 중, 이 LoRA가 프롬프트 준수 및 이해도에서 가장 뛰어난 성능을 보인다.
하지만 (언제나 그렇듯) 수치적 근거는 제공하지 않겠다 🙃

학습

LoRA는 Windows 10 환경에서 Takenoko를 사용해 64GB RAM과 RTX 3090으로 학습했다. 학습 파라미터는 다음과 같다:

rank/alpha: 32/32
optimizer: AdamW8bit
learning rate: 5.0e-5
weight decay: 0.01
lr_scheduler: Polynomial 
lr_warmup_steps: 200
lr_scheduler_power: 1.0

이 LoRA에는 변수 흐름 시프트 전략을 사용했다. 처음 4900스텝 동안 discrete_flow_shift = 5로 학습했고, 나머지 스텝(최대 30000)에서는 discrete_flow_shift = 3을 사용했다.

이 전략의 목표는 다음과 같다.

학습 중 시프트 값은 모델이 어떤 잡음 수준을 제거할지 학습하는 데 영향을 미친다. 이 시프트를 조정함으로써 구조(높은 잡음 수준) 또는 세부 사항(낮은 잡음 수준)에 집중할 수 있다. 이 시각화가 이 개념을 이해(또는 적어도 이해한 것처럼 느끼게) 해주었다.

초기 학습 단계에서는 구조와 움직임을 학습하는 데 초점을 맞추고자 더 높은 시프트 값을 사용했다. 이는 고잡음 영역에서 가장 잘 표현되는 특성이다. 이는 역 잡음 제거 과정에서 시그모이드 기반 타임스텝 샘플링 분포의 중심을 더 높은 타임스텝(즉, 높은 잡음 수준)으로 이동시킨다. 이후 학습 단계에서는 시프트 값을 낮추어 모델이 얼굴 표정, 직물 질감, 고주파 특징과 같은 미세한 세부 사항에 더 집중하도록 유도했다. 이는 낮은 잡음 수준에서 더 잘 학습된다.

즉, 더 높은 시프트 값은 시그모이드로 샘플링된 타임스텝의 확률을 고잡음 영역(잡음 제거 과정의 초기 단계에 해당하는 y 값이 1.0 근처) 쪽으로 밀어낸다. 이 구간에서는 모델이 매우 잡음이 많은 입력을 보며 레이아웃과 전역적 움직임 같은 구조적, 저주파 패턴을 학습한다.

시프트 값을 낮추면 타임스텝 분포가 낮은 잡음 수준에 밀집되며, 후반 잡음 제거 단계에서 모델이 더 깨끗한 입력을 접하게 되어 질감, 얼굴 특징, 미세 구조 같은 고주파 세부사항 학습에 집중할 수 있게 된다.

(이는 또한 추론 단계 수를 줄일 때 시프트 값을 높이도록 권장하는 이유를 설명해준다. 추론 단계가 적으면 모델은 일관된 구조를 형성하기 위해 높은 잡음 수준에서 시작해야 한다. 시그모이드가 너무 왼쪽, 즉 저잡음 영역에 중심을 두면, 모델은 구조적 이해를 형성할 만큼 충분한 고잡음 단계를 경험하지 못하게 된다.)

이 방법이 얼마나 잘 작동했는지는 아직 확신이 서지 않으며, 더 많은 실험이 필요합니다. 이제 더 이상 이동을 줄여서 약 13,000단계 시점에서 1까지 낮추는 것이 더 나았을 것 같다고 생각합니다. 이렇게 하면 미세한 디테일 학습을 더욱 강조할 수 있을 것입니다. 한 가지 눈치챈 점은, 모델이 카메라 움직임 프롬프트에 대한 반응성이 향상되었다는 점입니다. 이제 더 잘 따릅니다. 하지만 분명히 2.2 릴리즈를 통해 이는 더 이상 관련이 없게 되었습니다.

어쨌든, 저는 30,000단계까지 학습했습니다. 학습 흐름은 약간 이상했습니다. 평균 손실과 검증 손실이 모두 약 11,000단계부터 거의 평탄해졌지만, 샘플들은 22,000단계 근처까지 점점 더 좋아졌습니다. 여러 프롬프트에서 테스트한 후, 저는 20,580단계 체크포인트에서 학습을 중단했습니다.

코다

이 5개월을 돌이켜보면, Wan 2.1은 이미 역사적인 위치를 확보한 훌륭한 모델입니다(이 놀라운 성과를 만들어낸 재능 있는 개발자들처럼). 하지만 이제는 Wan 2.1의 주요 결점인 모션 일관성 부족을 해결한 매우 훌륭한 후계자인 2.2로 넘어갈 시간입니다. 저는 2.2와 함께 즐겁게 실험할 수 있을 것이라 확신합니다!🔥