360-degree panoramic shot - LTX-2
세부 정보
파일 다운로드
모델 설명
LTX-2가 4K 영상을 생성할 수 있다는 사실을 깨달았을 때, 내 첫 번째 생각은 _이제 비로소 VR 영상을 대량 생산할 수 있겠구나_였다. 그래서 나는 이 LoRA를 진지하게 고민하지 않고 즉시 만들기 시작했다. 단지 LTX-2가 기본적으로 이 기능을 수행할 수 있는지 확인하기 위해서였다.
짧은 답변: 약간 그렇다.
Wan 2.2용 Hardcut LoRA와 마찬가지로, LTX-2는 360° 영상이라는 _개념_은 이해하지만 제대로 구현하는 데 어려움을 겪는다. 이 LoRA는 LTX-2가 혼란스러운 왜곡된 영상이 되지 않고, 신뢰할 수 있게 진정한 360도 콘텐츠를 생성할 수 있도록 추가적인 밀어주는 역할을 한다.
그러나 어찌 된 일인지, 이 LoRA는 이음새를 부드럽게 연결하지 못한다. 그래서 360도 구체를 회전할 때 명확한 수직선이 보인다. 아직 이 문제를 해결할 수 있는 노드가 존재하는지 나는 확신하지 못한다. 하지만 해결책을 찾으면 알려주길 바란다.
참고: 영상의 시작과 끝은 일치한다. 단지 다른 지점에서 잘려 나갔을 뿐이므로, 기술적으로는 영상을 가로로 잘라서 한쪽 끝이 다른 쪽에서 시작하는 지점과 정확히 맞추는 것이 가능하다.
권장 설정
가중치: 0.6–1이 잘 작동한다
- 심지어 0.2로도 사용해본 적이 있다. 따라서 자유롭게 실험해보길 바란다
화면 비율: 2:1
후처리 (선택 사항)
원본 영상은 대부분의 360° 미디어 플레이어나 VR 플레이어에서 그대로 재생할 수 있다. 그러나 VR에서 실제 입체감을 얻고 싶다면, 영상에 스테레오스코픽 깊이를 적용해야 한다.
이 노드가 이를 수행할 수 있다:
https://github.com/SamSeenX/ComfyUI_SSStereoscope?tab=readme-ov-file
⚠️ 경고: 이 노드는 파일 크기 제한이 있는 것으로 보인다.
예를 들어, 내 영상 중 하나는 약 500MB로, 이 노드뿐 아니라 ComfyUI 자체도 업로드를 거부할 정도로 크다.
만약 해결책을 찾았다면 알려주길 바란다. 그렇지 않다면, 외부 깊이 도구를 사용하거나 수동으로 깊이를 처리해야 한다.
VR 메타데이터 삽입 (매우 권장)
헤드셋과 플레이어가 영상을 자동으로 VR 콘텐츠로 인식할 수 있도록 VR 메타데이터를 삽입하는 것도 좋다.
이를 위해 구글의 Spatial Media 도구를 사용할 수 있다:
https://github.com/google/spatial-media/releases
이 도구는 무료이며 사용이 매우 간단하다.
요약
네, 작동한다
2:1 화면 비율을 사용하라
VR 영상을 만들 수 있다
깊이와 VR 메타데이터를 추가하면 더 나은 영상을 만들 수 있다
추가 의견
솔직히 LTX-2가 기본적으로 이 기능을 제공하지 않아서 오히려 기쁘다. 나는 이 LoRA를 훈련시키기 위해 이미 하루를 보낸 후에, 우선 그걸 확인해봐야 했던 걸 깨달았다.
더 중요한 점은, 이제 왜 이런 LoRA가 이토록 드문지 완전히 이해하게 되었다는 것이다. 5090 GPU조차도 이 LoRA를 훈련시키기에 충분한 VRAM이 없었다. 나는 48GB Ada 카드 중 하나를 사용해야 했다. 게다가 유용한 평면 파노라마 360° 영상 데이터셋을 찾는 것은 악몽이었고, 큰 데이터셋을 구축할 수 없었다. 다행히도, 나는 그런 데이터셋이 필요하지 않았다.
하지만 솔직히 말하자면, 이 작업이 두 날의 훈련 끝에 실패했다면, 나는 그냥 "이제 그만" 하고 포기했을 것이다.
어쨌든, 내가 하는 일에 관심이 있고 지원하고 싶다면, 커피 한 잔 사주셔도 좋습니다 ☕