Animatediff 3 vid2vid Openpose

使い方

入力動画を読み込み、プロンプト、サイズ、長さを調整してから生成してください。

説明

このワークフローは、Open Pose を使用して入力動画から人間の動きを抽出し、ビデオからビデオへのプロンプト遷移を行うための特別な目的を持っています。AnimateDiff 3 と連携して動作します。異なるキーフレームに対して異なるプロンプトを設定でき、動画内ではプロンプトが徐々に変化していきます。

このワークフローで使用される AnimateDiff と Stable Diffusion 1.5 は、512ピクセルのサイズで訓練されています。そのため、作成サイズをこれより大幅に大きくすると、結果が不安定になります。代わりに、生成後にアップスケールすることをお勧めします。

ワークフローにはアップスケール機能が含まれていますが、別途のワークフローで、2番目の Ksampler を使用してアップスケールすることを推奨します。詳しくは以下の記事をご覧ください：

https://www.tomgoodnoise.de/index.php/video-upscaling-in-comfyui/

時間

6秒の長さで解像度が640×480の例では、4060 TI（VRAM 16GB）で約25分かかりました。生成時間が長いのは、チェーン内の2番目のKsamplerによるものです。このKsamplerを省略すれば時間は短縮できますが、品質は若干低下します。より高いアップスケールはさらに時間を長くします。したがって、このワークフローは最速ではありません。

要件

このワークフローはかつて8GBのVRAMで作成されました。しかし、私は頻繁にOOM（アウトオブメモリ）エラーに遭遇しました。少なくとも12GBのVRAMを搭載したカードを推奨します。