Stable Video 3D (SV3D)

Stable Video 3D (SV3D) は、Stable Video Diffusion をベースにした生成モデルであり、オブジェクトの静止画像を条件フレームとして入力し、そのオブジェクトの軌道動画を生成します。

このモデルは、同じサイズのコンテキストフレームを入力として576x576解像度で21フレームを生成するように学習され、SVD Image-to-Videoからファインチューニングされています。詳細については、技術レポート および ビデオサマリー をご確認ください。

本モデルには以下の2つのバリアントをリリースしています：

1. SV3D_u：カメラ条件なしで単一画像入力に基づいて軌道動画を生成するバリアントです。

2. SV3D_p：SV3D_uの機能を拡張し、単一画像と軌道ビューの両方を受け入れることで、指定されたカメラパスに沿った3D動画の生成を可能にします。

モデルのソース

• リポジトリ：https://github.com/Stability-AI/generative-models

• 技術レポート：https://stability.ai/s/SV3D_report.pdf

• ビデオサマリー：https://youtu.be/Zqw4-1LcfWg

• プロジェクトページ：https://sv3d.github.io

• arXivページ：https://arxiv.org/abs/2403.12008

• 開発者：Stability AI

• モデルタイプ：生成的画像→動画モデル

• ライセンス：Stability AI Community License

• 商用ライセンス：このモデルを商業利用するには、https://stability.ai/license をご参照ください。