LTXV - Animating images that typically don't yield good results
詳細
ファイルをダウンロード
モデル説明
このチュートリアルでは、LTXVを使用して、初期段階では良好な結果を得られなかった画像をアニメーション化する方法を学びます。
使用するワークフローは、以下のワークフローをカスタマイズしたものです：
https://github.com/sandner-art/ai-research/blob/main/LTXV-Video/ltxvideo_I2V-motionfix.json
このアプローチは、VoidVisionaryが以下のリンクで提案した、ぼかし効果を利用して結果を改善するというアイデアに触発されています：
ZIPファイルには以下の内容が含まれています：ワークフロー、ぼかしのないモナリザの.png画像、ぼかしのあるモナリザの.png画像、および編集用の.psdアーカイブ。
このワークフローは、SpacePXLが作成した改良版VAEを組み込んでいます。こちらから入手できます：
https://huggingface.co/spacepxl/ltx-video-0.9-vae-finetune/tree/main
今回は ltx-video-v0.9-vae_finetune_all.safetensors を使用しており、これをComfyUIの models/VAE フォルダに配置してください。
LTXに使用するモデルは ltx-video-2b-v.0.9.1.safetensors で、これをComfyUIの models/checkpoints フォルダに配置します：
https://huggingface.co/Lightricks/LTX-Video/tree/main
使用するテキストエンコーダーは t5-v1_1-xxl-encoder-Q6_K.gguf です：
https://huggingface.co/city96/t5-v1_1-xxl-encoder-gguf/tree/main。これをComfyUIの models/clip フォルダに配置してください。
このワークフローでは、以下のカスタムノードを使用しています：
すべての設定が完了したら、最初のモナリザ画像を読み込みます。ぼかしを適用せずにそのままレンダリングすると、アニメーションの動きが非常に制限されます。アニメーションを向上させるために、画像編集ソフトで顔部分を選択し、コピーして別のレイヤーに貼り付け、軽い水平方向のモーションブラーを適用します。私は、顔部分をスマートオブジェクト化し、水平モーションブラー値12を適用したPhotoshopファイルを提供しています。また、すでにぼかし処理されたモナリザ画像も添付しています。
その後、この修正した画像をComfyUIにコピー＆ペーストすると、はるかに滑らかで自然なアニメーションが得られます。
この手法はほぼすべての画像に適用でき、実験を推奨します。