Stable Video 4D (SV4D)

Stable Video 4D (SV4D) 是一种基于 Stable Video Diffusion (SVD) 和 Stable Video 3D (SV3D) 的生成模型，它接收物体的单视角视频，并生成该物体的多个新视角视频（4D 图像矩阵）。

• 开发方：Stability AI

• 模型类型：生成式视频到视频模型

• 模型详情：该模型在给定 5 个相同尺寸的参考帧的情况下，训练生成 40 帧（5 个视频帧 × 8 个摄像机视角），分辨率为 576x576。要从单视角视频生成 5x8 的图像矩阵，首先对第一个输入帧运行 SV3D，生成沿指定摄像机路径的轨道视频；然后将该轨道视频作为 SV4D 的参考视角，将输入视频作为参考帧，作为 4D 采样的条件。为生成更长的新视角视频，我们使用最初生成的帧作为锚点，然后密集采样（插值）剩余帧。详情请参阅我们的 [技术报告] 和 [视频摘要]。

模型来源

• 仓库：https://github.com/Stability-AI/generative-models

• 技术报告：https://sv4d.github.io/static/sv4d_technical_report.pdf

• 视频摘要：https://www.youtube.com/watch?v=RBP8vdAWTgk

• 项目页面：https://sv4d.github.io

• arXiv 页面：https://arxiv.org/abs/2407.17470

社区许可：本模型免费供研究、非商业及商业用途使用，适用于年收入达到或超过 1,000,000 美元（或等值本地货币）的组织和个人，无论其收入来源为何。若您的年收入超过 100 万美元，则使用本模型或其衍生作品进行商业用途前，必须直接向 Stability AI 获取企业许可。您可通过 https://stability.ai/enterprise 提交企业许可申请。更多详情请参阅 Stability AI 的社区许可协议：https://stability.ai/license。