Stable Video 4D (SV4D)

**Stable Video 4D(SV4D)**는 Stable Video Diffusion(SVD) 및 Stable Video 3D(SV3D)를 기반으로 하는 생성 모델로, 물체의 단일 시점 영상을 입력으로 받아 해당 물체의 여러 신규 시점 영상(4D 이미지 매트릭스)을 생성합니다.

• 개발자: Stability AI

• 모델 유형: 생성형 영상-영상 모델

• 모델 세부 정보: 이 모델은 동일한 크기의 5개의 참조 프레임을 입력으로 받아 576x576 해상도에서 40프레임(5개의 비디오 프레임 × 8개의 카메라 시점)을 생성하도록 학습되었습니다. 단일 시점 영상에서 5×8 이미지 매트릭스를 생성하려면, 먼저 SV3D를 입력 첫 번째 프레임에 적용하여 지정된 카메라 경로를 따라 공전 영상을 생성한 후, 이 공전 영상을 SV4D의 참조 시점으로 사용하고 입력 영상을 참조 프레임으로 제공하여 4D 샘플링의 조건으로 활용합니다. 더 긴 신규 시점 영상을 생성하려면, 생성된 첫 번째 프레임을 앵커로 사용하고 나머지 프레임을 밀집하게 샘플링(보간)합니다. 자세한 내용은 우리의 [기술 보고서] 및 [영상 요약]을 참조하세요.

모델 출처

• 저장소: https://github.com/Stability-AI/generative-models

• 기술 보고서: https://sv4d.github.io/static/sv4d_technical_report.pdf

• 영상 요약: https://www.youtube.com/watch?v=RBP8vdAWTgk

• 프로젝트 페이지: https://sv4d.github.io

• arXiv 페이지: https://arxiv.org/abs/2407.17470

커뮤니티 라이선스: 연간 수익이 1,000,000달러(또는 지역 통화로 이에 해당하는 금액) 이상인 조직 및 개인은 수익 출처에 관계없이 연구, 비상업적, 상업적 용도로 자유롭게 사용할 수 있습니다. 연간 수익이 100만 달러를 초과하는 경우, 이 모델 또는 그 파생 제품을 상업적으로 사용하려면 Stability AI로부터 직접 기업 라이선스를 획득해야 합니다. 기업 라이선스 요청은 https://stability.ai/enterprise에서 제출할 수 있습니다. 자세한 정보는 https://stability.ai/license에서 이용 가능한 Stability AI의 커뮤니티 라이선스를 참조하세요.