Nvidia Cosmos Image to Video ComfyUI workflow

説明

Nvidia Cosmosを使用した画像から動画へのComfyUIワークフローです。これはComfyUIの公式例ページのデフォルトワークフローを基にしていますが、いくつかの変更を加えています。

https://comfyanonymous.github.io/ComfyUI_examples/cosmos/

ZIPファイルには、JSONファイル、開始画像、およびワークフローを示すPNGファイルが含まれています。

使い方

初期画像を画像ノードにドラッグし、プロンプトを調整してキューを実行してください。残りの処理は自動で行われます。

アップスケーリング

アップスケーリングは別途のステップで行う必要があります。Cosmosはすでに比較的大きな動画（最小サイズ704 x 704）を生成します。ComfyUIでの動画アップスケーリングの例については、私の記事をご覧ください：https://www.tomgoodnoise.de/index.php/video-upscaling-in-comfyui/

制限

前述の通り、最小サイズは704 x 704ピクセルです。

その他の情報

重要なノード以外に、折りたたまれたNoteノードがいくつかあります。これらをクリックして展開してください。

Noteノードには追加の情報が含まれており、モデルの場合はモデルへのリンクや配置場所の指示も記載されています。

処理時間

例の動画は、準備時間を含めて52分かけてレンダリングされました。Cosmosの動画生成は非常に遅いです。比較として、Cogvideoは同様の処理を8分または4分で、LTXVideoは2分で行います。

要件

このワークフローは16GBのVRAMで生成されました。最低要件は12GBのVRAMであり、システムRAMは32GB以上あることを推奨します。