Stable Video 4D (SV4D)
詳細
ファイルをダウンロード
このバージョンについて
モデル説明
**Stable Video 4D (SV4D)**は、Stable Video Diffusion (SVD)およびStable Video 3D (SV3D)を基盤とする生成モデルであり、物体の単一視点動画を入力として、その物体の複数の新規視点動画(4D画像行列)を生成します。
開発者: Stability AI
モデル種別: 生成型動画→動画モデル
モデル詳細: このモデルは、同サイズの5つの参照フレームを入力として、576x576解像度で40フレーム(5動画フレーム×8カメラビュー)を生成するように訓練されています。単一視点動画から5×8の画像行列を生成するには、まずSV3Dを入力フレームの最初の1フレームに適用して、指定されたカメラパスに沿った軌道動画を生成し、その軌道動画をSV4Dの参照ビューとして使用します。また、入力動画を参照フレームとして、4Dサンプリングの条件として提供します。より長い新規視点動画を生成するには、最初に生成されたフレームをアンカーとして使用し、残りのフレームを密にサンプリング(補間)します。詳細については、当社の[技術レポート]および[動画サマリー]をご覧ください。
モデルソース
技術レポート: https://sv4d.github.io/static/sv4d_technical_report.pdf
プロジェクトページ: https://sv4d.github.io
arXivページ: https://arxiv.org/abs/2407.17470
コミュニティライセンス: 年間収益が100万米ドル(または同等の現地通貨)以上の組織および個人に対して、研究、非営利、商業用途を問わず無償で使用可能です。年間収益が100万米ドルを超える場合、このモデルまたはその派生作品を商業的に使用するには、Stability AIから直接エンタープライズライセンスを取得する必要があります。エンタープライズライセンスの申請はhttps://stability.ai/enterpriseから行ってください。詳細については、Stability AIのコミュニティライセンス(https://stability.ai/license)をご参照ください。