Katsuhiro Otomo 🎥 HunyuanVideo

설명

이 LoRA는 오스모 카츠히로의 애니메이션 영화 《아키라》와 《스팀보이》의 화면 캡처를 기반으로 미세 조정되었습니다. 아직 비디오를 사용하여 스타일을 학습하는 최적의 방법을 찾지 못했습니다(현재는 비디오보다 이미지를 사용할 때 더 나은 결과를 얻고 있습니다). 또한 HV 학습에 가장 적합한 매개변수도 완전히 이해되지 않았습니다. 그러나 이는 HunyuanVideo용 애니메이션 LoRA 시리즈의 마지막이 아니며, 클립을 사용한 학습이 이미지보다 우수하다고 확신하기 때문에 결국 최적의 학습 매개변수를 찾아낼 것으로 기대합니다.

이 LoRA에 대해서는 결과가 마음에 들었지만 완벽하지는 않습니다. 다음 버전에서 몇 가지 문제를 해결해보겠습니다(아마 비디오 데이터를 활용할 것 같습니다). 오스모 카츠히로는 더 나은 LoRA를 deserves합니다.

사용법

기본 ComfyUI 워크플로우에 LoRALoaderModelOnly 노드를 추가하여 테스트했습니다. Kijai의 래퍼에서도 작동할 것으로 예상되지만(저는 사용하지 않기 때문에 확신할 수 없습니다). 저는 다음 파라미터를 사용합니다:

guidance: 7.0
steps: 30

또한 이 링크에 따라 temporal_size를 76으로 변경했습니다.

쇼케이스 이미지는 640x480 해상도, 73프레임으로 생성되었으며(RTX 3090에서 triton/sage-attention을 활성화한 상태로 각 클립 생성에 약 4분 30초 소요됨). HV 출력은 해상도에 의존적이며, 낮은 해상도일수록 불필요한 아티팩트가 더 자주 나타났습니다.

트리거 단어는 "Katsuhiro Otomo style"입니다. 갤러리의 대부분의 프롬프트는 다음 입력에 따라 ChatGTP/Claude가 생성했습니다:

다음 템플릿을 사용하여 비디오 생성 모델용 프롬프트 20개를 작성하세요: "Katsuhiro Otomo style. {CAMERA MOVEMENT} camera. {CHARACTER, 외모와 주요 시각적 특징 간단 설명}, who is {구체적이고 역동적인 행동, 강한 시각적 단서 포함}. The background is {환경에 대한 간결하고 생생한 설명, 특징적인 요소와 분위기 설정 세부사항 포함}."
특징적인 카메라 움직임 유형: 줌인, 줌아웃, 팬업, 팬다운, 팬레프트, 팬라이트, 틸트업, 틸트다운, 틸트레프트, 틸트라이트, 라운드레프트, 라운드라이트, 정지샷, 핸드헬드샷.
간결한 설명을 사용하고, 복잡한 설명은 여러 문장으로 나누세요. 모호한 표현이나 추상적 표현은 피하세요.
주제는 발렌스의 금발 소녀와 역동적인 장면에서의 다양한 기계 장치로, 《아키라》나 《스팀보이》라는 제목은 언급하지 않으세요.

저는 주제를 임의로 “포스트애폴리프틱 환경에서 유혹적인 반신상태의 금발 소녀” 등으로 바꾸고, 다양한 샷 유형과 카메라 움직임을 실험하면서 핵심 구조는 그대로 유지했습니다. (유일하게 수동으로 작성한 프롬프트는 오타가 있는 것들입니다 😌)

만약 반실제적인 스타일로 기울거나 일반적인 애니메이션으로 돌아간다면:

• "클로즈업"이나 "와이드샷"과 같은 사진 관련 용어를 제거하고 대신 주체를 직접 묘사하세요. 예: "회색 눈과 넓은 코를 가진 금발 여자".

• 추상적인 부사어("고貴한 전사", "맹렬한 소녀")를 피하세요. 모호함을 유발할 수 있으니 구체적으로 서술하세요.

• 해상도와/또는 프레임 수를 늘리세요.

• 시드를 변경하세요 🤷

• 장면이 너무 정적이라 느껴진다면, "역동적", "생생한", "감정적으로 반응하며...", "...보이는 혼란을 동반한" 등의 단어를 사용하여 움직임의 느낌을 강화하세요.

현재 이 LoRA를 사용하면서 발생할 수 있는 스타일 일관성 부족 등의 불편 사항에 대해 사과드립니다. 다음 버전에서 이러한 문제를 해결하고 스타일의 일관성을 향상시킬 예정입니다.

학습 세부 정보

앞서 언급했듯이, 이 LoRA는 이미지만을 사용하여 미세 조정되었습니다. 총 103개의 화면 캡처(1500x806 해상도)를 사용했습니다: 《아키라》에서 62개, 《스팀보이》에서 41개(데이터셋 포함됨). 캡션 작업은 CogVLM2를 사용했으며, 정확한 프롬프트는 기억나지 않지만 대략 "이미지의 스타일 세부사항을 설명하지 않고 간략한 설명을 작성하세요"와 유사한 내용이었습니다. 이 방법은 비최적일 가능성이 높습니다. 왜냐하면 HV는 짧은 프롬프트를 싫어하며, 선호하는 프롬프트 구조가 있기 때문입니다.

학습은 diffusion-pipe를 사용하여 Windows 11 WSL2, 64GB RAM, RTX 3090 환경에서 진행되었습니다. 수정된 학습 매개변수는 유일하게 다음과 같습니다:

rank = 16
lr = 5e-5

데이터셋 파라미터는 기본값을 사용했으며, 다음만 변경했습니다:

resolutions = [768]