ChronoEdit 14B

LUXED AIに参加しましょう：最良のAIコミュニティ https://discord.gg/HxfP9TnctJ

💚 ChronoEdit    ｜    🖥️ GitHub    |   🤗 Hugging Face   |   🤖 Gradio Demo   |    📑 Paper

ChronoEdit: 画像編集と世界シミュレーションのための時系列推論へ
ChronoEdit-14Bは、時系列推論を通じて、物理的感覚を持つ画像編集とアクション条件付きの世界シミュレーションを実現します。このモデルは、140億パラメータの事前学習済み動画生成モデルから事前知識を蒸留し、推論を（i）潜在軌道のノイズ除去を行う動画推論ステージと、（ii）軌道トークンを削減する文脈内編集ステージに分離します。ChronoEdit-14Bは、NVIDIAがChronoEditファミリーのマルチモーダル基盤モデルの一環として開発しました。このモデルは商業利用に備えています。

ChronoEditパイプラインの概要。 右から左へ、ノイズ除去プロセスは時系列推論ステージで始まり、モデルは一連の中間フレームの短い軌道を想像し、ノイズを除去します。これらの中間フレームは推論トークンとして機能し、物理的に一貫した方法で編集がどのように展開されるかを導きます。効率化のため、これらの推論トークンはその後の編集フレーム生成ステージで破棄され、ターゲットフレームはさらに洗練され、最終的な編集済み画像となります。